[論文レビュー] Improved Sum-of-Squares Lower Bounds for Hidden Clique and Hidden Submatrix Problems

Yash Deshpande, Andrea Montanari|arXiv (Cornell University)|Feb 23, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用数 41

ひとこと要約

本稿は、隠れたクリークおよび隠れた部分行列問題における和の平方（SOS）階層の改善された下界を確立し、次数4のSOSが、そのサイズ $k \geq C n^{1/3} / \log n$ でない限り、隠れた部分行列を検出できないことを示している。この結果は、モーメント法とランダムな関連スキームのスペクトル解析を用いたワーストマトリクスの構築に依拠しており、SOSがこの閾値未満では効率的にこれらの問題を解くことができないことを示しており、それどころか、$k$ が小さい場合でも統計的に解けることと対照的である。これは、SOSフレームワーク内での隠れたクリーク問題の計算的困難性に対する強い証拠を提供する。

ABSTRACT

Given a large data matrix $A\in\mathbb{R}^{n imes n}$, we consider the problem of determining whether its entries are i.i.d. with some known marginal distribution $A_{ij}\sim P_0$, or instead $A$ contains a principal submatrix $A_{{\sf Q},{\sf Q}}$ whose entries have marginal distribution $A_{ij}\sim P_1 eq P_0$. As a special case, the hidden (or planted) clique problem requires to find a planted clique in an otherwise uniformly random graph. Assuming unbounded computational resources, this hypothesis testing problem is statistically solvable provided $|{\sf Q}|\ge C \log n$ for a suitable constant $C$. However, despite substantial effort, no polynomial time algorithm is known that succeeds with high probability when $|{\sf Q}| = o(\sqrt{n})$. Recently Meka and Wigderson \cite{meka2013association}, proposed a method to establish lower bounds within the Sum of Squares (SOS) semidefinite hierarchy. Here we consider the degree-$4$ SOS relaxation, and study the construction of \cite{meka2013association} to prove that SOS fails unless $k\ge C\, n^{1/3}/\log n$. An argument presented by Barak implies that this lower bound cannot be substantially improved unless the witness construction is changed in the proof. Our proof uses the moments method to bound the spectrum of a certain random association scheme, i.e. a symmetric random matrix whose rows and columns are indexed by the edges of an Erdös-Renyi random graph.

研究の動機と目的

• ランダム行列内の隠れた部分行列およびクリークを検出するための和の平方（SOS）階層の計算的下界を確立すること。
• 隠れたクリーク問題における統計的可解性とアルゴリズム的実行可能性のギャップを埋めること。ここで、$k \geq C \log n$ の場合に検出可能であるが、$k = o(\sqrt{n})$ の場合に多項式時間アルゴリズムが知られていない。
• より洗練されたワーストマトリクスの構築により、先行のSOS下界を改善し、$k < C n^{1/3}/\log n$ の場合に次数4のSOSが失敗することを示すこと。
• エレミス＝レニイのランダムグラフから導かれるランダム関連スキームのスペクトル特性を分析し、ワーストマトリクスの固有値を制限すること。

提案手法

• メカとウィグダーソンの方法を、次数4のSOS階層に適合させたことで、SOS緩和のためのワーストマトリクスを構築する。
• エレミス＝レニイのランダムグラフの辺をインデックスとする対称的ランダム行列のスペクトルを制限するためにモーメント法を適用する。
• グラフの辺に基づくランダム関連スキームを定義し、その組合せ的構造を用いてワーストマトリクスの期待モーメントを分析する。
• スペクトル分解と射影作用素を用いて、ワーストマトリクスがその期待値から逸脱する偏差を制御する。
• 高確率の尾部推定を用いて、主要な行列ブロック（$H_{11}, H_{12}, H_{22}$）の集中不等式を確立する。
• ワーストマトリクスが、$k \geq C n^{1/3}/\log n$ の場合にのみ、帰無仮説のもとで正定値半定値となることを証明し、この閾値未満ではSOSが失敗することを示す。

実験結果

リサーチクエスチョン

• RQ1 $k = o(\sqrt{n})$ の場合に、和の平方階層はランダム行列内のサイズ $k$ の隠れた部分行列を検出可能か？
• RQ2 次数4のSOS緩和が隠れたクリーク問題を解けない最小の $k$ のタイトな下界は何か？
• RQ3 メカ＝ウィグダーソンのワーストマトリクス構築法を、その基本構造を変えずに改善することで、より強いSOS下界を得られるか？
• RQ4 ランダム関連スキームのスペクトル特性は、隠れた部分行列検出におけるSOSアルゴリズムの性能にどのように影響するか？
• RQ5 SOSの失敗の閾値 $n^{1/3}/\log n$ は最適か？それとも、代替の構築法により改善可能か？

主な発見

• 次数4の和の平方階層は、サイズ $k \geq C n^{1/3} / \log n$ を満たさない限り、隠れた部分行列を検出できない。ここで $C$ は普遍定数である。
• バラクによる議論により、この下界は対数要因を除いてタイトであることが示され、これを改善するにはワーストマトリクスの構築法を変更する必要がある。
• モーメントに基づく集中不等式を用いて、ワーストマトリクスの期待値からの偏差のスペクトルノルムが高確率で制御可能である。
• この解析は、ワーストマトリクスをブロックに分解し、ランダムグラフ内のラベル付きパスにおけるグラフ論的モーメント数え上げによってそれらの作用素ノルムを制限することで行われる。
• ワーストマトリクスの構築法により、$k$ が $n^{1/3}/\log n$ の閾値を超える場合にのみ帰無仮説のもとで正定値半定値となることが保証され、SOSの失敗が確立される。
• この結果は、SOSフレームワーク内でも、隠れたクリーク問題が計算的に困難であるという強い証拠を提供し、これまでの知見をはるかに超えるものである。