[論文レビュー] Average-case Hardness of RIP Certification

Tengyao Wang, Quentin Berthet+1 more|arXiv (Cornell University)|May 31, 2016

Sparse and Compressive Sensing Techniques参考文献 38被引用数 6

ひとこと要約

この論文は、弱化された密集部分グラフ検出仮定の下で、平均ケースにおいても、ランダム設計行列の制限等長性性質（RIP）を証明することは計算的に困難であることを確立している。観測数 $ n $ が任意の $ \theta < 1 $ に対して $ k^{1+\theta}/\theta^2 $ よりも小さいとき、有効な平均ケース証明機は存在しないことが示され、理論的に可能であるのと実際の計算的に証明可能な範囲との間で顕著なギャップがあることを示している。

ABSTRACT

The restricted isometry property (RIP) for design matrices gives guarantees for optimal recovery in sparse linear models. It is of high interest in compressed sensing and statistical learning. This property is particularly important for computationally efficient recovery methods. As a consequence, even though it is in general NP-hard to check that RIP holds, there have been substantial efforts to find tractable proxies for it. These would allow the construction of RIP matrices and the polynomial-time verification of RIP given an arbitrary matrix. We consider the framework of average-case certifiers, that never wrongly declare that a matrix is RIP, while being often correct for random instances. While there are such functions which are tractable in a suboptimal parameter regime, we show that this is a computationally hard task in any better regime. Our results are based on a new, weaker assumption on the problem of detecting dense subgraphs.

研究の動機と目的

• ランダム設計行列に対する制限等長性性質（RIP）が平均ケース設定で効率的に証明可能かどうかを調査すること。
• 特に情報理論的限界 $ n \sim k\log p / \theta^2 $ に近い領域における、実行可能なRIP証明の計算的限界を特定すること。
• ランダム行列に対する理論的保証と、計算的に効率的な実用的証明手法との間のギャップを埋めること。
• 弱い密集部分グラフ検出仮定の下で、$ n \ll k^{1+\alpha}/\theta^2 $（$ \alpha < 1 $）のときでさえ、RIPの平均ケース証明が困難であることを確立すること。
• 従来の実行可能な代理指標（例：非一様性）の限界を明確にすること。特に $ p \geq 2n $ の場合、これらの指標は復元を保証できない。

提案手法

• 平均ケース証明機の枠組みを導入：誤ってRIPを満たすと主張することはないが、多数のランダムなインスタンスに対して正しく動作する関数。
• Planted Clique仮説にインspiredされた、密集部分グラフ検出に関連する弱い仮定に、RIP証明問題を還元する。
• 濃度不等式と部分ガウス型尾部境界を用いて、二次形式およびランダム行列要素の乖離の挙動を分析する。
• McDiarmidの不等式を用いて、ランダムに抽出された行列における非ゼロ行数の乖離を制限し、超幾何型プロセスで行の占有をモデル化する。
• モーメント生成関数の境界を、部分指数的および部分ガウス型変数に適用して、行列ノルムの分析における尾部確率を制御する。
• 密集部分グラフ検出からRIP証明への還元を構築し、もし密集部分グラフを効率的に検出できるならば、RIP証明も同様に効率的に可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ランダム設計行列に対する制限等長性性質（RIP）は、平均ケース設定で効率的に証明可能か？
• RQ2 ほとんどのランダム行列に対してRIPを正しく特定し、誤って証明することのない、計算的に効率的な関数が存在するか？
• RQ3 計算的限界は、妥当な複雑性仮定の下でも、平均ケースRIP証明が不可能になる閾値はどこか？
• RQ4 サンプルサイズ $ n $ とスパarsityレベル $ k $、および等長性定数 $ \theta $ との関係は、効率的証明の可能性をどのように決定づけるか？
• RQ5 従来の実行可能な代理指標（例：非一様性）は、$ p \geq 2n $ の場合、真のRIP挙動をどれほど正確に捉えていないか？

主な発見

• 弱い密集部分グラフ検出仮定の下で、任意の $ \alpha < 1 $ に対して $ n \ll k^{1+\alpha}/\theta^2 $ のとき、RIPの計算的に効率的な平均ケース証明機は存在しない。
• この困難性の結果は、RIP証明にほぼ $ k^2 \log p / \theta^2 $ 個の観測が必要であることを示唆しており、ランダム行列が高確率でRIPを満たすのは $ n \sim k \log p / \theta^2 $ のときであるのと比べて顕著なギャップを示している。
• これは、RIPの情報理論的限界と、計算的に実行可能な証明の限界との間に大きなギャップがあることを確立している。
• 上記の仮定の下で、最適なRIP行列を証明による構築に向けた効率的Las Vegasアルゴリズムの存在を排除している。
• 従来の実行可能な代理指標（例：非一様性）は、$ p \geq 2n $ の場合に復元を保証できない。これは $ n \sim k^2 $ が必要であり、これは非効率的である。
• 本論文は、近似的に最適な領域において、計算的に根本的に困難であることを強く示唆しており、妥当な複雑性理論的仮定の下で、平均ケース設定でもRIP証明が本質的に困難であることを示している。