[論文レビュー] Submatrix localization via message passing

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Oct 30, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用数 17

ひとこと要約

本稿では、ノイズがかかる行列における部分行列局在化問題に対して最適化されたメッセージパッシングアルゴリズムを提案する。このアルゴリズムは、$\Omega(\sqrt{n}) \leq K \leq o(n)$ の範囲で $\lambda = \mu^2K^2/n > 1/e$ の信号対ノイズ比を満たすとき、弱い回復を達成する。アルゴリズムの実行時間は $O(n^2\log n)$ であり、ノイズを含むバイクラスタリング問題へと拡張され、情報論的回復限界が明確に特定される。

ABSTRACT

The principal submatrix localization problem deals with recovering a $K imes K$ principal submatrix of elevated mean $μ$ in a large $n imes n$ symmetric matrix subject to additive standard Gaussian noise. This problem serves as a prototypical example for community detection, in which the community corresponds to the support of the submatrix. The main result of this paper is that in the regime $Ω(\sqrt{n}) \leq K \leq o(n)$, the support of the submatrix can be weakly recovered (with $o(K)$ misclassification errors on average) by an optimized message passing algorithm if $λ= μ^2K^2/n$, the signal-to-noise ratio, exceeds $1/e$. This extends a result by Deshpande and Montanari previously obtained for $K=Θ(\sqrt{n}).$ In addition, the algorithm can be extended to provide exact recovery whenever information-theoretically possible and achieve the information limit of exact recovery as long as $K \geq \frac{n}{\log n} (\frac{1}{8e} + o(1))$. The total running time of the algorithm is $O(n^2\log n)$. Another version of the submatrix localization problem, known as noisy biclustering, aims to recover a $K_1 imes K_2$ submatrix of elevated mean $μ$ in a large $n_1 imes n_2$ Gaussian matrix. The optimized message passing algorithm and its analysis are adapted to the bicluster problem assuming $Ω(\sqrt{n_i}) \leq K_i \leq o(n_i)$ and $K_1\asymp K_2.$ A sharp information-theoretic condition for the weak recovery of both clusters is also identified.

研究の動機と目的

• 大きさ $n \times n$ のノイズがかかる独立同分布のガウスノイズで汚される行列に、平均 $\mu$ の上昇した $K \times K$ の部分行列が埋め込まれた、大規模なノイズ付き対称行列における部分行列局在化問題に取り組む。
• 従来の結果を $K = \Theta(\sqrt{n})$ の範囲に限らず、より広い部分線形範囲 $\Omega(\sqrt{n}) \leq K \leq o(n)$ にまで拡張し、弱い回復を達成することを目的とする。
• 情報論的に可能である限り、正確な回復を達成するアルゴリズムを提供する。特に $K \geq \frac{n}{\log n}\left(\frac{1}{8e} + o(1)\right)$ 時に有効である。
• 非対称なノイズ付きバイクラスタリング問題にメッセージパッシングフレームワークを適応させ、行クラスタと列クラスタの両方の弱い回復のための明確な条件を特定する。

提案手法

• 先行研究で用いられた切断テイラー展開とは異なり、ヘルミート多項式展開に基づく最適化されたメッセージパッシングアルゴリズムを用いて、信号対ノイズ比を最大化する。
• このアルゴリズムを対称的主部分行列問題に適用し、$K_1 \times K_2$ の部分行列サポートを持つ非対称なノイズ付きバイクラスタリング設定へと拡張する。
• 回復限界を決定するための主要パrameterとして、信号対ノイズ比 $\lambda = \mu^2K^2/n$ を用いる。
• 特に $\mathcal{N}(\mu K, n)$ と $\mathcal{N}(0, n)$ を区別するための誤差確率 $\textsf{p}_e(\pi_1, s^2)$ を用いた統計的仮説検定の道具を用いてアルゴリズムを分析する。
• 弱い信号条件下での回復精度を向上させるために、バイクラスタリングの場合に投票手順と逐次的除外を用いる。
• レート・ディストーションの議論と集中不等式を用いて理論的保証を確立し、指定された条件下で誤差率がゼロに収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 部分線形に成長する $K$ に対して、$K = \Theta(\sqrt{n})$ の範囲を超えて、メッセージパッシングにより $K \times K$ 主部分行列の弱い回復が達成可能か？
• RQ2 部分行列局在化問題における弱い回復の情報論的限界は何か？ また、効率的なアルゴリズムがこの限界に達することができるか？
• RQ3 非対称なノイズ付きバイクラスタリング問題（$K_1$ と $K_2$ が不等である）に対し、メッセージパッシングフレームワークを適応可能か？
• RQ4 提案されたアルゴリズムが正確な回復を達成する条件は何か？ また、その性能は情報論的限界と比較してどうか？
• RQ5 メッセージパッシングにおけるヘルミート多項式の使用は、切断テイラー展開と比較して、信号対ノイズ比をどのように向上させるか？

主な発見

• 弱い回復は、$\lambda = \mu^2K^2/n > 1/e$ のとき、メッセージパッシングにより達成可能であり、$K = \Theta(\sqrt{n})$ の範囲に限らない。
• アルゴリズムの実行時間は $O(n^2\log n)$ であり、部分線形範囲における弱い回復においてほぼ線形時間複雑度を達成する。
• $K \geq \frac{n}{\log n}\left(\frac{1}{8e} + o(1)\right)$ のとき、情報論的に可能であれば、アルゴリズムは正確な回復を達成する。
• 非対称なノイズ付きバイクラスタリング設定で $K_1 \asymp K_2$ のとき、$\lambda > 1/e$ の条件下で弱い回復が達成され、誤差確率はゼロに収束する。
• 分析により、$\lambda > 1/e$ は弱い回復の十分条件であることが判明したが、情報論的限界 $\lambda > \frac{4K}{n}\log\frac{n}{K}$ よりも厳しくなっている。
• 逐次的除外と投票の手法により、バイクラスタリングの状況で回復が向上し、導出された条件下で誤差率はゼロに収束する。