[論文レビュー] Reducibility and Statistical-Computational Gaps from Secret Leakage

Matthew Brennan, Guy Bresler|arXiv (Cornell University)|May 16, 2020

Machine Learning and Algorithms参考文献 214被引用数 22

ひとこと要約

本稿では、多様な統計的推論問題にわたる平均ケース還元を可能にするために、秘密漏洩付きプラントドクリーク（$ olimits\textsc{pc}_{\rho}$）を一般化された困難性仮説として導入する。構造的な情報漏洩を活用することで、ロバストなスパース平均推定、テンソルPCA、ストークスティックブロックモデルなどの問題について、タイトな計算下界を確立する。これにより、長年にわたり予想されてきた統計的計算ギャップに関する、初めての還元に基づく証拠が得られる。

ABSTRACT

Inference problems with conjectured statistical-computational gaps are ubiquitous throughout modern statistics, computer science and statistical physics. While there has been success evidencing these gaps from the failure of restricted classes of algorithms, progress towards a more traditional reduction-based approach to computational complexity in statistical inference has been limited. Existing reductions have largely been limited to inference problems with similar structure -- primarily mapping among problems representable as a sparse submatrix signal plus a noise matrix, which are similar to the common hardness assumption of planted clique. The insight in this work is that a slight generalization of the planted clique conjecture -- secret leakage planted clique -- gives rise to a variety of new average-case reduction techniques, yielding a web of reductions among problems with very different structure. Using variants of the planted clique conjecture for specific forms of secret leakage planted clique, we deduce tight statistical-computational tradeoffs for a diverse range of problems including robust sparse mean estimation, mixtures of sparse linear regressions, robust sparse linear regression, tensor PCA, variants of dense $k$-block stochastic block models, negatively correlated sparse PCA, semirandom planted dense subgraph, detection in hidden partition models and a universality principle for learning sparse mixtures. In particular, a $k$-partite hypergraph variant of the planted clique conjecture is sufficient to establish all of our computational lower bounds. Our techniques also reveal novel connections to combinatorial designs and to random matrix theory. This work gives the first evidence that an expanded set of hardness assumptions, such as for secret leakage planted clique, may be a key first step towards a more complete theory of reductions among statistical problems.

研究の動機と目的

• 平均ケース推論問題における統計的計算ギャップの還元に基づく証拠の欠如に対処する。
• スパースPCAと密度の高いブロックモデルのような構造が著しく異なる問題間での還元における技術的障壁を克服する。
• 平均ケース推論問題にわたる還元を統一する新しい困難性仮説クラス——秘密漏洩付きプラントドクリーク（$\\textsc{pc}_{\\rho}$）——を構築する。
• ロバスト推定、スパース混合モデル、テンソルPCAにおける予想されたギャップについて、還元に基づく証拠を提供する。
• 平均ケース還元、$\\mathbb{F}_r^t$ 上の組合せ的設計、およびランダム行列理論との関係を確立する。

提案手法

• 隠れたクリークに関する部分的な情報を公開する、プラントドクリーク予想の一般化である$\\textsc{pc}_{\\rho}$を導入する。
• 拒否カーネルと密度の高いベルヌーイ回転を用いて、プラントドクリークのインスタンスを、ターゲット問題における構造的ノイズに変換する。
• 対称的3項拒否カーネルを構築し、$\\mathbb{F}_r^t$ 上の行列を設計することで、クリーク構造をガウス行列およびベルヌーイ行列に埋め込む。
• ワイシャルト行列と逆ワイシャルト行列の収束結果を活用し、スパースPCAにおける負の相関を生成する。
• ハイパーグラフからのテンソル補完技術を応用し、テンソルPCAおよびスパース混合学習に還元する。
• 低次の多項式および統計的クエリの下界を用いて、$\\textsc{pc}_{\\rho}$予想に対する証拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 秘密漏洩付きプラントドクリーク（$\\textsc{pc}_{\\rho}$）は、多様な統計的推論問題にわたる還元の普遍的出発点として機能できるか？
• RQ2 $\\textsc{pc}_{\\rho}$から生じる新しい還元技術は、構造が著しく異なる問題間のマッピングにおける従来の制限をどのように克服するか？
• RQ3 $\\textsc{pc}_{\\rho}$に基づく還元は、ロバストスパース平均推定やテンソルPCAのような問題における統計的計算ギャップについて、どの程度の証拠を提供するか？
• RQ4 $\\mathbb{F}_r^t$ におけるインシデント幾何学およびランダム行列理論との関係は、還元フレームワークをどのように強化するか？
• RQ5 低次の多項式および統計的クエリアルゴリズムの失敗は、$\\textsc{pc}_{\\rho}$の困難性予想を支持するか？

主な発見

• $\\textsc{pc}_{\\rho}$予想は、ロバストスパース平均推定における計算下界を示し、ケステン＝スティグム閾値まで困難性が成立する。
• $k$-部ハイパーグラフプラントドクリークからISBMへの還元により、$\epsilon = \Theta(\sqrt{k})$ のとき弱復元の計算下界が確立される。
• 本稿では、ワイシャルト行列と逆ワイシャルト行列の収束結果を証明し、これをスパースPCAにおける負の相関の生成に用いる。
• $\\textsc{pc}_{\\rho}$からの還元により、テンソルPCAにおけるタイトな計算下界が得られ、既知の統計的限界と一致する。
• フレームワークにより、スパース混合学習の普遍性原理が確立され、UC$(n)$に属するすべての問題が同一の計算閾値を持つことが示される。
• 低次の多項式および統計的クエリアルゴリズムからの証拠は、$\\textsc{pc}_{\\rho}$予想を支持しており、特に$k$-部ハイパーグラフバージョンが、予想の中で最も強いものである。