[論文レビュー] The Average-Case Time Complexity of Certifying the Restricted Isometry Property

Yunzi Ding, Dmitriy Kunisky+2 more|arXiv (Cornell University)|May 22, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用数 5

ひとこと要約

この論文は、i.i.d. $\mathcal{N}(0,1/M)$ 要素を持つランダムなガウス行列における制限付き等長性性質（RIP）を証明するための平均ケース時間計算量のほぼタイトな下界を確立する。低次の尤度比解析を用いて、$(s,\delta)$-RIP を証明するには、$\sqrt{M} \ll s \lesssim M/\log N$ の範囲で $N^{\tilde{\Omega}(s^2/M)}$ の実行時間が必要であることを示し、既存の最良のアルゴリズムの実行時間と一致する。$\delta$ が $(0,1)$ 内の定数である場合のスパarsityと計算コストの滑らかなトレードオフを示している。この結果により、$\delta = o(1)$ に制限されていた先行の平均ケースの難解性結果を拡張している。

ABSTRACT

In compressed sensing, the restricted isometry property (RIP) on $M imes N$ sensing matrices (where $M < N$) guarantees efficient reconstruction of sparse vectors. A matrix has the $(s,δ)$-$\mathsf{RIP}$ property if behaves as a $δ$-approximate isometry on $s$-sparse vectors. It is well known that an $M imes N$ matrix with i.i.d. $\mathcal{N}(0,1/M)$ entries is $(s,δ)$-$\mathsf{RIP}$ with high probability as long as $s\lesssim δ^2 M/\log N$. On the other hand, most prior works aiming to deterministically construct $(s,δ)$-$\mathsf{RIP}$ matrices have failed when $s \gg \sqrt{M}$. An alternative way to find an RIP matrix could be to draw a random gaussian matrix and certify that it is indeed RIP. However, there is evidence that this certification task is computationally hard when $s \gg \sqrt{M}$, both in the worst case and the average case. In this paper, we investigate the exact average-case time complexity of certifying the RIP property for $M imes N$ matrices with i.i.d. $\mathcal{N}(0,1/M)$ entries, in the "possible but hard" regime $\sqrt{M} \ll s\lesssim M/\log N$. Based on analysis of the low-degree likelihood ratio, we give rigorous evidence that subexponential runtime $N^{ ildeΩ(s^2/M)}$ is required, demonstrating a smooth tradeoff between the maximum tolerated sparsity and the required computational power. This lower bound is essentially tight, matching the runtime of an existing algorithm due to Koiran and Zouzias. Our hardness result allows $δ$ to take any constant value in $(0,1)$, which captures the relevant regime for compressed sensing. This improves upon the existing average-case hardness result of Wang, Berthet, and Plan, which is limited to $δ= o(1)$.

研究の動機と目的

• i.i.d. $\mathcal{N}(0,1/M)$ 要素を持つランダムな $M \times N$ 行列における制限付き等長性性質（RIP）を証明する平均ケース計算量を特定すること。
• $\sqrt{M} \ll s \lesssim M/\log N$ の範囲で、既存のアルゴリズムと最悪ケースの難解性結果のギャップを埋めること。
• この範囲で、$N^{\tilde{\Omega}(s^2/M)}$ のサブ指数的実行時間が必要であるという明確な証拠を提供すること。
• $\delta$ が $(0,1)$ 内の任意の定数である場合にまで平均ケースの難解性結果を拡張すること。これにより、$\delta = o(1)$ に制限されていた先行研究を改善すること。
• 既存の Koiran-Zouzias アルゴリズムの実行時間と一致するため、下界が本質的にタイトであることを示すこと。

提案手法

• スパiked Wishart モデルの低次の尤度比を分析し、RIP 証明の計算下界を確立する。
• スパースな Rademacher 前提を持つランダムベクトルの内積のモーメントを用いて、次数 $D$ の尤度比の $L^2$ ノルムの式を導出する。
• 一般化された二項係数のテイラー展開を用いて、尤度比式におけるべき級数係数を抑え込む。
• ランダムなサポートの交差に対するモーメントの上限を適用し、スパースな前提下での尤度比の成長を制御する。
• 尤度比が解析中に有界かつ適切に振る舞うように、スパイク事前分布に切り捨てを課す。
• 漸近的スケーリング仮定（$s \leq M$、$D = o(s^2/M)$）を組み合わせ、尤度比ノルムが $O(1)$ に一様に有界であることを導出し、計算難解性を示す。

実験結果

リサーチクエスチョン

• RQ1 $\sqrt{M} \ll s \lesssim M/\log N$ の範囲で、ランダムなガウス行列における制限付き等長性性質の証明の平均ケース時間計算量は何か？
• RQ2 低次の尤度比法は、この範囲で計算難解性の明確な証拠を提供できるか？
• RQ3 既存の $N^{\tilde{\Omega}(s^2/M)}$ 実行時間下界はタイトか？ また、最良の既存アルゴリズムの実行時間と一致するか？
• RQ4 平均ケースの難解性結果は、$\delta = o(1)$ を要件としなくても、$(0,1)$ 内の任意の定数 $\delta$ に対して拡張可能か？
• RQ5 スパイク事前分布の切り捨ては、尤度比解析の有効性を保証するために果たす役割は何か？

主な発見

• この論文は、$N^{\tilde{\Omega}(s^2/M)}$ の計算下界を、ランダムなガウス行列における $(s,\delta)$-RIP 証明に対して確立しており、これは Koiran-Zouzias アルゴリズムの実行時間と一致するため、本質的にタイトである。
• この下界は、$(0,1)$ 内の任意の定数 $\delta$ に対して成り立つ。これは、$\delta = o(1)$ に制限されていた先行研究を大幅に改善している。
• 解析により、切り捨てられたスパースな Rademacher 事前分布下でも、低次の尤度比が有界に保たれることを示しており、平均ケースでの計算難解性の明確な証拠が得られた。
• 下界は $s \leq M$ および $D = o(s^2/M)$ の仮定の下で導出されており、これにより尤度比ノルムが $O(1)$ に一様に有界となり、低次のアルゴリズムでは問題が解けないことが示された。
• この結果により、最大許容スパースネス $s$ と必要な計算パワーの間の滑らかなトレードオフが示され、計算複雑性の観点から「スケアーバケッテルネック」を形式化した。
• 本研究は、$\delta \in (0,1)$ の全範囲に適用可能な、かつタイトな最初の平均ケースの難解性結果を提供している。