[論文レビュー] Reducibility and Computational Lower Bounds for Problems with Planted Sparse Structure

Matthew Brennan, Guy Bresler+1 more|arXiv (Cornell University)|Jun 19, 2018

Algorithms and Data Compression被引用数 33

ひとこと要約

本稿は、プラントドクリーク予想からの新しい平均ケース還元を用いて、プラントドスパース構造を有する高次元統計的問題——例えば、プラントドインディペンデントセット、密部分グラフ、バイクラスタリング、スパースPCA——のためのタイトな計算下界を確立する。分布のリフト、リジェクションカーネル、リフレクションクラーニングといった技術を導入することで、著者たちは既存の難易度結果を統一的かつ強化し、スペクトル法や凸緩和法が多くの設定で最適であることを示している。

ABSTRACT

The prototypical high-dimensional statistics problem entails finding a structured signal in noise. Many of these problems exhibit an intriguing phenomenon: the amount of data needed by all known computationally efficient algorithms far exceeds what is needed for inefficient algorithms that search over all possible structures. A line of work initiated by Berthet and Rigollet in 2013 has aimed to explain these statistical-computational gaps by reducing from conjecturally hard average-case problems in computer science. However, the delicate nature of average-case reductions has limited the applicability of this approach. In this work we introduce several new techniques to give a web of average-case reductions showing strong computational lower bounds based on the planted clique conjecture using natural problems as intermediates. These include tight lower bounds for Planted Independent Set, Planted Dense Subgraph, Sparse Spiked Wigner, Sparse PCA, a subgraph variant of the Stochastic Block Model and a biased variant of Sparse PCA. We also give algorithms matching our lower bounds and identify the information-theoretic limits of the models we consider.

研究の動機と目的

• プラントド構造を有するスパース統計的モデルにおける計算難易度に関する未解決問題を解明すること。
• 信号強度を保持し、全変動距離の下で高次元分布間を写像する、頑健な平均ケース還元技術を開発すること。
• スパースPCA、バイクラスタリング、プラントド密部分グラフなどの問題に対する既存の難易度結果を、共通の枠組みで統一・強化すること。
• 特にスパース領域において、効率的アルゴリズムの限界を理解するギャップを埋めること。
• 複数の問題において、情報理論的閾値と計算的閾値の一致を示し、プラントドクリーク予想の下でそれらが一致することを明らかにすること。

提案手法

• 信号レベルを維持し、全変動距離の下で二つのソース分布を二つのターゲット分布に近似的に写像する平均ケース還元の新フレームワークを導入する。
• スパースランダムグラフにおける検出問題をプラントドクリーク問題に還元するための「プラントドクリークリフト」を考案する。
• リジェクションカーネルと「分布リフト」を用いて、全変動距離の下で統計的性質を保持するように分布を変換する。
• リフレクションクラーニングと「ガウスリアフト」を用いて、ランク1部分行列およびバイクラスタリング問題の還元を構築する。
• 「ランダム回転」技術を設計し、スパースPCAを他の問題に還元することで、$k \gg \sqrt{n}$ の設定でタイトな下界を達成する。
• 複数のインスタンスを組み合わせ、スペクトル法を用いてサポートの共通部分から信号を回復する検出-回復還元を構築する。

実験結果

リサーチクエスチョン

• RQ1 スパースErdős-Rényiグラフにおけるプラントドインディペンデントセットの検出について、タイトな計算下界を確立できるか？
• RQ2 $q = \tilde{\Theta}(n^{-\alpha})$ および $p - q = \tilde{\Theta}(n^{-\gamma})$ で $\gamma \geq \alpha$ である一般プラントド密部分グラフモデルに対しても、同じ下界が成り立つか？
• RQ3 スパースPCAの $k \gg \sqrt{n}$ の設定における難易度が、プラントドクリーク予想と厳密に結びつけられるか？
• RQ4 プラントドクリークからの還元によって、スパースPCAの単純な仮説検定形式に対するタイトな下界が得られるか？
• RQ5 部分グラフストークブロックモデルの回復バージョンは、計算的閾値まで多項式時間で解けるか？

主な発見

• エッジ密度 $\tilde{\Theta}(n^{-\alpha})$ のErdős-Rényiグラフにおけるサイズ $k$ のプラントドインディペンデントセットの検出について、情報理論的限界と一致するタイトな計算下界が確立された。
• 一般プラントド密部分グラフモデル（$q = \tilde{\Theta}(n^{-\alpha})$ および $p - q = \tilde{\Theta}(n^{-\gamma})$、$\gamma \geq \alpha$）に対する初めての下界が証明され、HWX (15) が提起した未解決問題が解決された。
• スパーススパイク付きウィグナー行列では、検出がバイクラスタリングよりも厳密に難しいことが示され、プラントドクリークからの別個の還元によりタイトな下界が得られた。
• スパースランク1部分行列とスパースPCAの間の還元が構築され、$k \gg \sqrt{n}$ の設定でスペクトル法が最適である領域においてタイトな下界が得られた。
• 代替還元により、BR13aとGMZ (17) の単純仮説検定形式のスパースPCAにおける下界が再現され、複数のフレームワーク間の整合性が確認された。
• プラントドベクトルがバイアスを有する場合に、スパースPCAに微妙な計算的障壁が存在することを同定し、標準的な還元が完全な複雑性を捉えられない領域を特定した。