[論文レビュー] Unperturbed: spectral analysis beyond Davis-Kahan

Justin Eldridge, Mikhail A. Belkin+1 more|arXiv (Cornell University)|Jun 20, 2017

Random Matrices and Applications参考文献 6被引用数 32

ひとこと要約

この論文は、Weylの定理やDavis-Kahanの定理といった古典的結果を改善する、革新的なスペクトル摂動理論を導入している。摂動と固有ベクトルの間の相互作用を組み込むことで、Neumannのテクニックを用い、ストークスティックブロックモデルのような構造的モデルにおける確率的摂動を分析することで、固有ベクトルの誤差バウンドを $\tilde{O}(\frac{1}{\sqrt{n}})$ まで改善し、単純なクラスタリングアルゴリズムによってスパースグラフにおける正確なコミュニティ回復を可能にした。

ABSTRACT

Classical matrix perturbation results, such as Weyl's theorem for eigenvalues and the Davis-Kahan theorem for eigenvectors, are general purpose. These classical bounds are tight in the worst case, but in many settings sub-optimal in the typical case. In this paper, we present perturbation bounds which consider the nature of the perturbation and its interaction with the unperturbed structure in order to obtain significant improvements over the classical theory in many scenarios, such as when the perturbation is random. We demonstrate the utility of these new results by analyzing perturbations in the stochastic blockmodel where we derive much tighter bounds than provided by the classical theory. We use our new perturbation theory to show that a very simple and natural clustering algorithm -- whose analysis was difficult using the classical tools -- nevertheless recovers the communities of the blockmodel exactly even in very sparse graphs.

研究の動機と目的

• 摂動が確率的または構造的である典型状況において、古典的摂動バウンド（例：Davis-Kahan）の非最適性を克服すること。
• 元の行列 $M$ の固有ベクトルと摂動行列 $H$ の間の相互作用を考慮する、洗練された固有ベクトル摂動理論を構築すること。これは、単にスペクトルノルム $\|H\|$ に依存するのではなく、$H$ と固有ベクトルの方向的相互作用を捉えるものである。
• 例えば、$H$ が確率的で $M$ が低ランクブロック構造を持つストキャスティックブロックモデルのような状況において、新しいバウンドが古典理論に比べて顕著な改善をもたらすことを示すこと。
• スパースグラフにおいても、上位固有ベクトルに基づく単純なクラスタリングアルゴリズムが正確なコミュニティ回復を達成できることを示すこと。これは古典的手法では到達できなかった結果である。

提案手法

• 固有ベクトルの $\ell^\infty$-ノルムにおける新しい摂動バウンドを導入し、誤差を $\|\tilde{u}^{(t)} - u^{(t)}\|_\infty \lesssim \left\| \sum_{p\geq 1} (H/\lambda_t)^p u^{(t)} \right\|_\infty $ として表現することで、$H$ と固有ベクトルの間の方向的相互作用を捉えた。
• 「Neumannのテクニック」を考案——摂動された固有ベクトルの級数展開を行い、解析が難しい成分の影響を分離・バウンドし、$\|H\|$ に依存するバウンドを、より小さい固有値依存項に置き換える。
• 確率的行列のモーメントバウンドと集中不等式を用いて、特に $H$ が i.i.d. 要素またはブロック定数構造を持つ場合の行列のべき乗の尾部挙動を制御する。
• 元の固有ベクトルに $H/\lambda_t$ の行列べき乗を作用させた結果の $\ell^\infty$-ノルムを、摂動誤差の代理変数として用いることで、$H$ が確率的である場合にタイトなバウンドが得られることを可能にする。
• ストキャスティックブロックモデルにおけるブロックごとの誤差バウンドを、ブロック固有の正規化係数を用いて全ベクトルに拡張するために、ブロックごとのユニオンバウンドを用いる。
• モーメント生成関数と尾部推定を用いて、高確率バウンドを導出し、$H$ にサブガウス型またはサブエクスポネンシャル型の要素がある場合、$\|H\| \ll \lambda_t$ の仮定のもとで摂動誤差のバウンドを求める。

実験結果

リサーチクエスチョン

• RQ1 摂動 $H$ が確率的で $M$ の固有ベクトルと弱く相互作用する状況において、Davis-Kahanの定理を上回る固有ベクトル摂動バウンドは得られるか？
• RQ2 $H$ と $M$ の固有ベクトルの相互作用が、スパースなランダムグラフにおけるスペクトルクラスタリングの精度にどの程度影響を及えるか？
• RQ3 古典的手法が一貫性を保証できないような非常にスパースなストキャスティックブロックモデルにおいて、単純なスペクトルクラスタリングアルゴリズムが正確なコミュニティ回復を達成できるか？
• RQ4 $H$ が確率的である場合、摂動誤差の $\ell^\infty$-ノルムは、$H$ のスペクトルノルムと固有値ギャップ $\delta_t$ に対してどのように関係するか？
• RQ5 Neumann級数展開は、摂動バウンドの最悪ケースのスペクトルノルム $\|H\|$ への依存度をどの程度低減できるか？

主な発見

• 論文は、確率的摂動 $H$ に対して、固有値摂動 $|\tilde{\lambda}_t - \lambda_t|$ が通常 $\sqrt{\log n}$ のオーダーであることを示し、古典的Weylバウンドの $O(\sqrt{n})$ よりも改善されている。
• $\ell^\infty$-ノルム誤差 $\|\tilde{u}^{(t)} - u^{(t)}\|_\infty$ は、$H/\lambda_t$ のべき乗を含む級数によってバウンドされ、典型的な状況では $\|H\|/\delta_t$ よりもはるかに小さくなる。
• スパースなエッジを持つストキャスティックブロックモデルでは、新しい理論により、平均次数が定数であっても、単純なスペクトルクラスタリングアルゴリズムで正確なコミュニティ回復が可能である。
• Neumannのテクニックにより、$\|H\|$ への依存度が $\lambda_2$ に置き換えられ、$H$ が確率的で $\lambda_2 \ll \|H\|$ である場合、誤差バウンドに $O(1/\sqrt{n})$ の改善が得られる。
• $\ell^\infty$-ノルムが小さい固有ベクトルをもつブロック定数行列では、摂動誤差がさらに小さくなり、コミュニティ検出における制御がより厳密に可能になる。
• 著者らは、高確率バウンドを導出し、$\|H/\lambda_t\| < 1$ かつ $H$ がサブガウス型要素を持つ場合、Neumann級数の項数が増えるにつれて摂動誤差が指数的に減少することを示した。