[论文解读] Improved Sum-of-Squares Lower Bounds for Hidden Clique and Hidden Submatrix Problems

Yash Deshpande, Andrea Montanari|arXiv (Cornell University)|Feb 23, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用 41

一句话总结

本文為求解隱藏團簇與隱藏子矩陣問題的平方和（SOS）層次結構建立了改進的下界，表明當子矩陣大小 $k \geq C n^{1/3} / \log n$ 時，四度SOS無法檢測到隱藏子矩陣。該結果依賴於利用矩方法與隨機關聯方案的譜分析構造一個見證矩陣，證明SOS在此閾值以下無法有效解決這些問題，儘管對於較小的 $k$，這些問題在統計上是可解的。這為SOS框架內隱藏團簇問題的計算困難性提供了強有力的證據。

ABSTRACT

Given a large data matrix $A\in\mathbb{R}^{n imes n}$, we consider the problem of determining whether its entries are i.i.d. with some known marginal distribution $A_{ij}\sim P_0$, or instead $A$ contains a principal submatrix $A_{{\sf Q},{\sf Q}}$ whose entries have marginal distribution $A_{ij}\sim P_1 eq P_0$. As a special case, the hidden (or planted) clique problem requires to find a planted clique in an otherwise uniformly random graph. Assuming unbounded computational resources, this hypothesis testing problem is statistically solvable provided $|{\sf Q}|\ge C \log n$ for a suitable constant $C$. However, despite substantial effort, no polynomial time algorithm is known that succeeds with high probability when $|{\sf Q}| = o(\sqrt{n})$. Recently Meka and Wigderson \cite{meka2013association}, proposed a method to establish lower bounds within the Sum of Squares (SOS) semidefinite hierarchy. Here we consider the degree-$4$ SOS relaxation, and study the construction of \cite{meka2013association} to prove that SOS fails unless $k\ge C\, n^{1/3}/\log n$. An argument presented by Barak implies that this lower bound cannot be substantially improved unless the witness construction is changed in the proof. Our proof uses the moments method to bound the spectrum of a certain random association scheme, i.e. a symmetric random matrix whose rows and columns are indexed by the edges of an Erdös-Renyi random graph.

研究动机与目标

• 建立平方和（SOS）層次結構在檢測隨機矩陣中隱藏子矩陣與團簇時的計算下界。
• 彌補隱藏團簇問題中統計可解性與算法可行性之間的差距，其中當 $k \geq C \log n$ 時可檢測，但尚無已知的 $k = o(\sqrt{n})$ 時的多項式時間算法。
• 透過構造一個更細緻的見證矩陣，超越先前的SOS下界，證明當 $k < C n^{1/3}/\log n$ 時四度SOS失效。
• 分析由Erdős–Rényi隨機圖導出的隨機關聯方案的譜性質，以界定見證矩陣的特徵值。

提出的方法

• 使用Meka與Wigderson的方法，並適應至四度SOS層次結構，構造SOS放鬆的見證矩陣。
• 應用矩方法，以界定由Erdős–Rényi隨機圖邊集索引的對稱隨機矩陣的譜。
• 基於圖的邊定義一個隨機關聯方案，並利用其組合結構分析見證矩陣的期望矩。
• 使用譜分解與投影算子，控制見證矩陣與其期望之間的偏差。
• 透過高概率尾部估計，建立關鍵矩陣塊（$H_{11}, H_{12}, H_{22}$）的集中不等式。
• 證明見證矩陣僅在 $k \geq C n^{1/3}/\log n$ 時，於零假設下保持半正定，從而表明在此閾值以下SOS失效。

实验结果

研究问题

• RQ1 當 $k = o(\sqrt{n})$ 時，平方和層次結構能否檢測到隨機矩陣中大小為 $k$ 的隱藏子矩陣？
• RQ2 四度SOS放鬆在何種最緊密的 $k$ 下界時會失效於隱藏團簇問題？
• RQ3 Meka–Wigderson見證構造能否被改進，以在不改變其基本結構的情況下產生更強的SOS下界？
• RQ4 隨機關聯方案的譜性質如何影響SOS演算法在隱藏子矩陣檢測中的表現？
• RQ5 SOS失效的 $n^{1/3}/\log n$ 閾值是否為最佳，或可透過其他構造進一步改進？

主要发现

• 四度平方和層次結構僅在子矩陣大小滿足 $k \geq C n^{1/3} / \log n$ 時才能檢測到隱藏子矩陣，其中 $C$ 為全域常數。
• 此下界在對數因子意義下為緊緻，如Barak的論證所示，因此若要進一步改善，必須改變見證構造。
• 透過基於矩的集中不等式，以高概率控制見證矩陣與其期望之間偏差的譜範數。
• 分析依賴於將見證矩陣分解為塊，並透過隨機圖中標籤路徑上的圖論矩計數，界定其算子範數。
• 見證矩陣的構造僅在 $k$ 超過 $n^{1/3}/\log n$ 閾值時，於零假設下確保正定性，從而確立SOS失效。
• 該結果為隱藏團簇問題在強大的SOS框架內仍具計算困難性提供了強有力證據，超越了先前已知的結論。