[论文解读] Hanson-Wright inequality in Hilbert spaces with application to $K$-means clustering for non-Euclidean data

Xiaohui Chen, Yun Yang|arXiv (Cornell University)|Oct 26, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用 4

一句话总结

本文在可分希尔伯特空间中建立了子高斯随机变量二次型的无维数Hanson-Wright不等式，推广了经典的有限维结果。该不等式被用于证明非欧几里得数据广义K均值聚类的半定规划松弛的指数收敛速率，从而通过一个取整算法实现精确恢复。

ABSTRACT

We derive a dimension-free Hanson-Wright inequality for quadratic forms of independent sub-gaussian random variables in a separable Hilbert space. Our inequality is an infinite-dimensional generalization of the classical Hanson-Wright inequality for finite-dimensional Euclidean random vectors. We illustrate an application to the generalized $K$-means clustering problem for non-Euclidean data. Specifically, we establish the exponential rate of convergence for a semidefinite relaxation of the generalized $K$-means, which together with a simple rounding algorithm imply the exact recovery of the true clustering structure.

研究动机与目标

• 推导可分希尔伯特空间中子高斯随机变量的无维数Hanson-Wright不等式，推广经典有限维结果。
• 解决使用计算上可行的多项式时间算法对具有非线性特征的非欧几里得数据进行聚类的挑战。
• 为广义K均值聚类问题的半定规划松弛建立强统计保证——具体而言，是指数收敛速率。
• 证明半定规划松弛结合简单的取整过程，能够以高概率精确恢复真实的聚类结构。
• 为核聚类中常使用的启发式贪心算法提供一种有理论依据的替代方案，具备理论恢复保证。

提出的方法

• 推导中心化子高斯随机变量在可分希尔伯特空间中取值的希尔伯特空间版本Hanson-Wright不等式，其范数通过迹范数和算子范数定义。
• 通过迹类协方差算子Γ引入希尔伯特空间中子高斯随机变量的概念，利用算子范数和迹范数定义子高斯范数。
• 将无限维Hanson-Wright不等式应用于非欧几里得数据广义K均值聚类中二次型的集中性分析。
• 利用该不等式建立半定规划松弛目标函数偏离其期望的指数尾部界。
• 使用单调重排引理（引理A.5）控制聚类目标函数中的误差，并推导收敛速率。
• 将集中界与取整算法结合，证明SDP松弛的最优解以高概率精确恢复真实聚类结构。

实验结果

研究问题

• RQ1 经典Hanson-Wright不等式能否推广至可分希尔伯特空间中子高斯随机变量的无限维情形？
• RQ2 由此得到的无限维Hanson-Wright不等式是否能为希尔伯特空间中二次型提供无维集中界？
• RQ3 该推广不等式能否用于为非欧几里得数据广义K均值聚类中半定规划松弛建立强统计保证？
• RQ4 在子高斯噪声下，广义K均值问题的半定规划松弛是否能实现对真实聚类结构的精确恢复？
• RQ5 在集中界成立的前提下，简单的取整算法能否以高概率从SDP解中恢复精确聚类？

主要发现

• 在可分希尔伯特空间中，子高斯随机变量的二次型建立了无维数Hanson-Wright不等式，其尾部界仅依赖于子高斯范数和矩阵的算子范数。
• 该不等式通过截断论证和有限维近似收敛性证明，依赖于单调收敛定理和迹类算子的性质。
• 二次型的指数尾部界形式为 $ \text{Pr}(|X^T A X - \text{E}[X^T A X]| \rangle t) \rangle \rangle 2\text{exp}\big[-C \text{min}(t^2 / (L^4 \rVert A \rVert_{\text{HS}}^2), t / (L^2 \rVert A \rVert_{\text{op}}))\big] $，其中 $ L $ 为子高斯范数。
• 对于希尔伯特空间中的广义K均值聚类问题，半定规划松弛在目标函数偏离其期望的偏差上实现了指数收敛速率。
• 集中界表明，当噪声水平足够低时，SDP松弛的最优解以高概率精确恢复真实聚类结构。
• 对SDP解应用简单取整算法，能够实现对真实聚类的精确恢复，为非欧几里得数据聚类提供一种计算上可行且统计一致的方法。