[論文レビュー] Notes on Computational Hardness of Hypothesis Testing: Predictions using the Low-Degree Likelihood Ratio

Dmitriy Kunisky, Alexander S. Wein+1 more|arXiv (Cornell University)|Jul 26, 2019

Machine Learning and Algorithms被引用数 14

ひとこと要約

本稿では、高次元の仮説検定における計算的困難さの予測ツールとして、低次の尤度比法を導入し、問題が統計的に可能ではあるが計算的に困難であるかどうかを示すために、低次の尤度比の2次モーメントが有効であることを示している。この手法は、和の平方階層に依存せずに、テンソルPCA やコミュニティ検出における鋭い計算的閾値を予測する自己完備的なフレームワークを提供しており、スペクトル法やしきい値付き多項式との明確な形式的関係を確立している。

ABSTRACT

These notes survey and explore an emerging method, which we call the low-degree method, for predicting and understanding statistical-versus-computational tradeoffs in high-dimensional inference problems. In short, the method posits that a certain quantity -- the second moment of the low-degree likelihood ratio -- gives insight into how much computational time is required to solve a given hypothesis testing problem, which can in turn be used to predict the computational hardness of a variety of statistical inference tasks. While this method originated in the study of the sum-of-squares (SoS) hierarchy of convex programs, we present a self-contained introduction that does not require knowledge of SoS. In addition to showing how to carry out predictions using the method, we include a discussion investigating both rigorous and conjectural consequences of these predictions. These notes include some new results, simplified proofs, and refined conjectures. For instance, we point out a formal connection between spectral methods and the low-degree likelihood ratio, and we give a sharp low-degree lower bound against subexponential-time algorithms for tensor PCA.

研究の動機と目的

• 高次元推論問題における統計的・計算的トレードオフを予測するための自己完備的かつアクセス可能な手法の開発。
• 和の平方階層の知識がなくても、低次の尤度比の2次モーメントが計算的困難さの予測に役立つことの実証。
• 低次の手法とスペクトル法やしきい値付き多項式などの既存のアルゴリズム的手法との形式的関係の確立。
• 洗練された予想と新規結果の提示、特にテンソルPCA に対する超指数的時間アルゴリズムに対する鋭い下界の確立。
• 推定および認証問題への適用範囲の拡張。低次のテストの困難さの証拠が、回復と認証の困難さを示すことを示している。

提案手法

• 計算複雑性の代理として、低次の多項式への尤度比の射影として定義される低次の尤度比（LDLR）を提案。
• LDLRの2次モーメントを用いて、仮説検定問題が超指数的時間内に解けるかどうかを予測し、1を閾値として計算不能性を示す。
• 加法的ガウスノイズモデルにこの手法を適用し、古典的および低次の量を計算して統計的限界と計算的限界を比較。
• スペクトル法が、LDLRの2次モーメントが1を超える場合に正確に成功することを示し、しばしば最適であることを実証。
• 認証問題を仮説検定問題に還元するための「静かなる植え付け（quiet planting）」の概念を導入し、低次の予測を用いて困難さを主張。
• ハイパーコントラクト性と多項式の下界を用いて、低次の予想の厳密な帰結を導出し、しきい値付き法やスペクトル法に対する下界を確立。

実験結果

リサーチクエスチョン

• RQ1 低次の尤度比の2次モーメントは、高次元の仮説検定問題における計算的困難さを予測できるか？
• RQ2 低次の手法はスペクトル法やその他の標準的なアルゴリズム的手法とどのように関係しているか？
• RQ3 テンソルPCA の計算的複雑度は何か？また、低次の手法は超指数的時間アルゴリズムに対する鋭い下界を提供できるか？
• RQ4 コミュニティ検出や行列回復などの問題における既知の閾値と、低次の予測はどの程度一致するか？
• RQ5 低次の手法は、構造的PCA の性質を検証するような認証問題における困難さを予測できるか？

主な発見

• 低次の尤度比の2次モーメントは、計算的困難さの予測に有効である：それが有界のままであれば、効率的アルゴリズムは存在せず、発散すれば多項式時間アルゴリズムが存在する可能性がある。
• コミュニティ検出におけるケステン＝スティグム閾値を再現し、鋭い計算的相転移の予測力が裏付けられた。
• テンソルPCA に対する超指数的時間アルゴリズムに対する鋭い下界が確立され、統計的閾値未満ではいかなるようなアルゴリズムも成功できないことが示された。
• 低次の手法とスペクトル法には形式的な関係がある：主固有値が相転移を示す場合、主固有ベクトルも通常はそれと同時に相転移を示すため、スペクトル法が最適である可能性が高い。
• 仮説検定における低次の予測は、回復と認証における困難さのヒューリスティックな証拠を示すが、これらの問題間に形式的な同等性は存在しない。
• 本手法は、プラント・クリーク、密度の高い部分グラフ検出、ランダムCSPなど、多様な問題において広く信じられている計算的閾値と一致する包括的なフレームワークを提供している。