[論文レビュー] Unified $\ell_{2 ightarrow\infty}$ Eigenspace Perturbation Theory for Symmetric Random Matrices

Lihua Lei|arXiv (Cornell University)|Sep 11, 2019

Random Matrices and Applications参考文献 67被引用数 16

ひとこと要約

本稿では、独立または従属のエントリと柔軟なエントリ分布をもつ対称ランダム行列に対する統一的な $β_{2\to\infty}$ 固有空間摂動理論を構築する。二値ランダム行列に対してタイトな $β_{2\to\infty}$ 界を導出し、既存の界と比較して鋭さと固有値ギャップの条件の両面で改善し、スペクトルノルムの集中、ストキャスティックブロックモデルにおけるコミュニティ回復、分割型階層的クラスタリングの部分的整合性の分野で最先端の結果を達成する。

ABSTRACT

Modern applications in statistics, computer science and network science have seen tremendous values of finer matrix spectral perturbation theory. In this paper, we derive a generic $\ell_{2 ightarrow\infty}$ eigenspace perturbation bound for symmetric random matrices, with independent or dependent entries and fairly flexible entry distributions. In particular, we apply our generic bound to binary random matrices with independent entries or with certain dependency structures, including the unnormalized Laplacian of inhomogenous random graphs and $m$-dependent matrices. Through a detailed comparison, we found that for binary random matrices with independent entries, our $\ell_{2 ightarrow\infty}$ bound is tighter than all existing bounds that we are aware of, while our condition is weaker than all but one of them in a less common regime. We apply our perturbation bounds in three problems and improve the state of the art: concentration of the spectral norm of sparse random graphs, exact recovery of communities in stochastic block models and partial consistency of divisive hierarchical clustering. Finally we discuss the extensions of our theory to random matrices with more complex dependency structures and non-binary entries, asymmetric rectangular matrices and induced perturbation theory in other metrics.

研究の動機と目的

• 独立または従属のエントリと柔軟な分布をもつ対称ランダム行列に一般化可能な $β_{2\to\infty}$ 固有空間摂動界を構築すること。
• 特に鋭さと弱い固有値ギャップ仮定の観点で、独立エントリをもつ二値ランダム行列に対する既存の $β_{2\to\infty}$ 界を改善すること。
• 新規摂動理論を用いて、3つの主要な問題における最先端の結果を向上させること：スパースランダムグラフのスペクトルノルムの集中、スチュアスティックブロックモデル（SBM）における正確なコミュニティ回復、分割型階層的クラスタリングにおける部分的整合性。
• 現在の範囲を超えて非二値エントリ、非対称行列、その他の依存構造へとフレームワークを拡張すること。

提案手法

• 決定論的界と確率的集中技術の組み合わせを用いて、一般的な $β_{2\to\infty}$ 固有空間摂動界を導出する。
• 固有ベクトルの偏差における決定論的成分をバウンドするために、カトウの積分表現を用いる。
• 対角線の摂動行列に与える影響を低減することで界を改善するため、対角線手術（diagonal surgery）を適用する。
• 固有空間の条件数に依存しないようにするため、新規の固有値分割技術を導入する。
• 異なる平均を持つ独立したベルヌーイ確率変数の和に対する集中不等式を用いて、摂動における確率的誤差を制御する。
• 詳細な比較を通じて、二値ランダム行列に対する既存の決定論的および確率的界との整合性を検証する。

実験結果

リサーチクエスチョン

• RQ1 一般のエントリ分布および依存構造をもつ対称ランダム行列に対して、統一的な $β_{2\to\infty}$ 固有空間摂動界を導出可能か？
• RQ2 独立エントリをもつ二値ランダム行列に対する既存の界と比較して、提案された $β_{2\to\infty}$ 界の鋭さと固有値ギャップ要件はどのように異なるか？
• RQ3 新規摂動理論は、スパースランダムグラフのスペクトルノルムの集中をどの程度改善できるか？
• RQ4 固定または増加するコミュニティ数をもつスチュアスティックブロックモデル（SBM）において、コミュニティの正確な回復が可能か？
• RQ5 先行研究と比較して弱い仮定のもとで、分割型階層的クラスタリングにおける部分的整合性がフレームワークによってサポートされるか？

主な発見

• 提案された $β_{2\to\infty}$ 界は、独立エントリをもつすべての既存の界よりも、詳細な比較を通じて二値ランダム行列に対してよりタイトであることが示された。
• 界が要請する固有値ギャップ条件は、唯一の例外を除き、すべての既存の界よりも弱く、とくにギャップが小さい稀な状況下で顕著である。
• 理論により、スパース・エローズ–レニイ・グラフにおけるスペクトルノルムの集中が改善され、密な領域にとどまらず拡張された。
• 固定 $K$ の場合、理論によりスチュアスティックブロックモデル（SBM）におけるコミュニティの正確な回復が可能となり、高確率で誤分類誤差がゼロとなる。
• $K$ が増加する場合、理論によりブロック二スパイクスチュアスティックブロックモデル（BTSBMs）におけるメガコミュニティの正確な回復が確立された。
• フレームワークにより、クラスタリングツリーにおける1つの分割の回復の十分条件を提供することで、分割型階層的クラスタリングの部分的整合性がサポートされた。