[論文レビュー] Spectral Alignment of Correlated Gaussian matrices

Luca Ganassali, Marc Lelarge+1 more|arXiv (Cornell University)|Nov 30, 2019

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

この論文は、相関のあるガウス行列の間のアライメントに用いられるEIG1スペクトル法を分析している。2つの相関のある行列AとB = Π^T(A + σH)Πの主固有ベクトルをアライメントする。σ ≍ N^{-7/6}の鋭い閾値が特定され、σN^{7/6+ϵ} → 0 ならば、EIG1は高確率で大部分の置換πを回復する。一方、σN^{7/6−ϵ} → ∞ ならば、o(N)個の正しい一致しか得られず、GOEモデル下でのスペクトル行列アライメントに対してゼロ-ワン法則を証明する。

ABSTRACT

In this paper we analyze a simple spectral method (EIG1) for the problem of matrix alignment, consisting in aligning their leading eigenvectors: given two matrices $A$ and $B$, we compute $v_1$ and $v'_1$ two corresponding leading eigenvectors. The algorithm returns the permutation $\hat{\pi}$ such that the rank of coordinate $\hat{\pi}(i)$ in $v_1$ and that of coordinate $i$ in $v'_1$ (up to the sign of $v'_1$) are the same. We consider a model of weighted graphs where the adjacency matrix $A$ belongs to the Gaussian Orthogonal Ensemble (GOE) of size $N imes N$, and $B$ is a noisy version of $A$ where all nodes have been relabeled according to some planted permutation $\pi$, namely $B= \Pi^T (A+\sigma H) \Pi $, where $\Pi$ is the permutation matrix associated with $\pi$ and $H$ is an independent copy of $A$. We show the following zero-one law: with high probability, under the condition $\sigma N^{7/6+\epsilon} o 0$ for some $\epsilon>0$, EIG1 recovers all but a vanishing part of the underlying permutation $\pi$, whereas if $\sigma N^{7/6-\epsilon} o \infty$, this method cannot recover more than $o(N)$ correct matches. This result gives an understanding of the simplest and fastest spectral method for matrix alignment (or complete weighted graph alignment), and involves proof methods and techniques which could be of independent interest.

研究の動機と目的

• ノイズが存在する状況における、最も単純なスペクトル法EIG1の性能を分析すること。
• 相関のあるガウス行列モデルにおける、元の置換πの回復に関する鋭い閾値を確立すること。
• GRAMPAのようなより計算コストの高いスペクトル法とは対照的に、低複雑性の代替手法EIG1に対する理論的保証を提供すること。
• ノイズのあるグラフアライメント問題におけるランク1スペクトル還元の限界を理解すること。
• 確率的行列理論およびグラフマッチングにおけるスペクトル法に適用可能な証明技法の開発

提案手法

• H ∼ GOEの下で、AとBをN×Nの相関のある行列としてモデル化し、BはA + σHのノイズ付き置換版である。
• EIG1を適用：Aの主固有ベクトルv₁とBの主固有ベクトルv′₁を計算し、ランク置換によりそれらをアライメントする。
• v₁とv′₁の張る空間における幾何的射影フレームワークを用いて、ノイズ下での固有ベクトルアライメントを分析する。
• 固有ベクトルアライメントプロセスの挙動を近似するために、i.i.d.ガウス変数を用いたトロイモデルを採用する。
• 集中不等式と大偏差を用いて、固有ベクトルの重なりと置換回復を制御する。
• 回転不変性と球対称性を用いて、固有値および固有ベクトルのフラクチュエーションの1次元解析に問題を簡略化する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある相関行列モデルにおける、EIG1スペクトル法の根本的限界は何か？
• RQ2 EIG1はπの正確な回復か部分的回復を達成するのか？また、ノイズレベルσのどの条件下で達成されるのか？
• RQ3 成功回復の領域と失敗の領域を分ける、σにおける鋭い閾値が存在するか？
• RQ4 計算コストを考慮した場合、GRAMPAのようなより複雑なスペクトル法と比較して、EIG1の性能はどの程度か？回復閾値と計算コストの観点から。
• RQ5 ランク1還元の分析は、より高ランクのスペクトル法の挙動についての洞察を提供できるか？

主な発見

• 任意のϵ > 0に対してσN^{7/6+ϵ} → 0 ならば、EIG1は高確率でπのほとんどすべての要素を回復する。
• σN^{7/6−ϵ} → ∞ ならば、EIG1はo(N)個の正しい一致しか得られず、πの定数割合を回復できないことを示唆する。
• σ ≍ N^{-7/6}の閾値は鋭い相転移を示しており、これより下では回復がほぼ完全であり、上では回復がほとんどない。
• 証明は、固有ベクトルフラクチュエーションの新しいカップリング論法とGOE集合における分析に依拠しており、閾値下で⟨v₁, v′₁⟩ ≍ σN^{1/6}であることを示している。
• 時間計算量はO(N²)であり、GRAMPAのO(N³)よりも顕著に高速であり、密度の高いグラフ領域では理論的閾値を同等に達成する。
• この結果により、スペクトル行列アライメントにおけるゼロ-ワン法則が確立される：ノイズレベルがN^{-7/6}と比較して小さいか大きいかに応じて、回復はほぼ完全またはほぼ不可能になる。