[論文レビュー] Hanson-Wright inequality in Hilbert spaces with application to $K$-means clustering for non-Euclidean data

Xiaohui Chen, Yun Yang|arXiv (Cornell University)|Oct 26, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用数 4

ひとこと要約

本稿は、可分ヒルバート空間におけるサブガウス確率変数の二次形式について、次元に依存しないハンソン＝ハワード不等式を確立し、古典的な有限次元結果を一般化する。この不等式を用いて、非ユークリッドデータにおける一般化K-meansクラスタリングの半定値計画法（SDP）緩和の指数的収束速度を証明し、ラウンディングアルゴリズムにより正確な回復が可能であることを示す。

ABSTRACT

We derive a dimension-free Hanson-Wright inequality for quadratic forms of independent sub-gaussian random variables in a separable Hilbert space. Our inequality is an infinite-dimensional generalization of the classical Hanson-Wright inequality for finite-dimensional Euclidean random vectors. We illustrate an application to the generalized $K$-means clustering problem for non-Euclidean data. Specifically, we establish the exponential rate of convergence for a semidefinite relaxation of the generalized $K$-means, which together with a simple rounding algorithm imply the exact recovery of the true clustering structure.

研究の動機と目的

• 可分ヒルバート空間におけるサブガウス確率変数の次元に依存しないハンソン＝ハワード不等式を導出することにより、古典的な有限次元結果を拡張すること。
• 非線形特徴を有する非ユークリッドデータのクラスタリングを、計算的に実行可能で多項式時間のアルゴリズムで扱う課題に取り組むこと。
• 一般化K-meansクラスタリング問題の半定値計画法緩和に対して、特に指数的収束速度という強力な統計的保証を確立すること。
• 半定値計画法緩和と単純なラウンディング手順の組み合わせが、真のクラスタ構造を高確率で正確に回復できることを示すこと。
• ヒューリスティックなグリーディアルゴリズムに代わる理論的回復保証を持つ、原理的かつ整合的な代替手法を提供すること。

提案手法

• 中心化されたサブガウス確率変数が可分ヒルバート空間に値をとる場合のハンソン＝ハワード不等式のヒルバート空間版を導出する。ここでノルムはトレースノルムと作用素ノルムによって定義される。
• トレースクラスの共分散作用素Γを用いて、ヒルバート空間におけるサブガウス確率変数の概念を導入し、作用素ノルムとトレースノルムを用いてサブガウスノルムを定義する。
• 無限次元のハンソン＝ハワード不等式を、非ユークリッドデータにおける一般化K-meansクラスタリングの文脈で二次形式の集中性を分析するために適用する。
• 不等式を用いて、半定値計画法緩和の目的関数がその期待値からどれほど逸脱するかの指数的尾部バウンドを確立する。
• 誤差を制御し収束速度を導出するために、単調再配列補題（補題A.5）を用いる。
• 集中性バウンドとラウンディングアルゴリズムを組み合わせることで、SDP緩和の最適解が高確率で真のクラスタ構造を正確に回復できることを示す。

実験結果

リサーチクエスチョン

• RQ1 古典的なハンソン＝ハワード不等式は、サブガウス確率変数について、無限次元ヒルバート空間へ拡張可能か？
• RQ2 得られる無限次元ハンソン＝ハワード不等式は、ヒルバート空間における二次形式の次元に依存しない集中性バウンドをもたらすか？
• RQ3 この一般化された不等式を用いて、非ユークリッドデータにおける一般化K-meansクラスタリングの半定値計画法緩和に対して強力な統計的保証を得られるか？
• RQ4 一般化K-means問題の半定値計画法緩和は、サブガウスノイズのもとで真のクラスタ構造を正確に回復できるか？
• RQ5 集中性バウンドが与えられたもとで、単純なラウンディングアルゴリズムがSDP解から真のクラスタを高確率で回復できるか？

主な発見

• 可分ヒルバート空間におけるサブガウス確率変数の二次形式について、次元に依存しないハンソン＝ハワード不等式が確立された。尾部バウンドは、サブガウスノルムと行列の作用素ノルムにのみ依存する。
• 不等式は、切断による議論と有限次元近似の収束を用いて証明され、単調収束定理とトレースクラス作用素の性質に依存する。
• 二次形式の指数的尾部バウンドは、$ \text{Pr}(|X^T A X - \text{E}[X^T A X]| \rangle t) \rangle \rangle 2\text{exp}\big[-C \text{min}(t^2 / (L^4 \rVert A \rVert_{\text{HS}}^2), t / (L^2 \rVert A \rVert_{\text{op}}))\big] $ の形をとり、ここで $ L $ はサブガウスノルムである。
• ヒルバート空間における一般化K-meansクラスタリング問題において、半定値計画法緩和は、目的関数の期待値からの逸脱について指数的収束速度を達成する。
• 集中性バウンドは、ノイズレベルが十分に低い場合、SDP緩和の最適解が高確率で真のクラスタ構造を正確に回復できることを示唆する。
• SDP解に単純なラウンディングアルゴリズムを適用することで、真のクラスタが高確率で正確に回復され、非ユークリッドデータのクラスタリングに対して計算的に実行可能で統計的に一貫性のある手法が提供される。