[논문 리뷰] The Average-Case Time Complexity of Certifying the Restricted Isometry Property

Yunzi Ding, Dmitriy Kunisky외 2명|arXiv (Cornell University)|2020. 05. 22.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 5

한 줄 요약

이 논문은 i.i.d. $\mathcal{N}(0,1/M)$ 원소를 가진 랜덤 가우시안 행렬에서 제한된 이소메트릭 성질(RIP)을 증명하기 위한 평균 케이스 시간 복잡도에 대해 거의 날것 같은 하한을 설정한다. 저도수 우도 비율 분석을 통해 $(s,\delta)$-RIP를 증명하는 데에는 $\sqrt{M} \ll s \lesssim M/\log N$ 영역에서 $N^{\tilde{\Omega}(s^2/M)}$의 런타임이 필요하다고 보여주며, 이는 최고의 알고리즘 런타임과 일치하고 $\delta$가 $(0,1)$ 내의 상수일 때 비례적 스파arsity와 계산 비용 사이의 매끄러운 트레이드오프를 보여준다. 이 결과는 이전의 평균 케이스의 딱딱함 결과를 강화하여 $\delta = o(1)$로 제한하는 것을 제거한다.

ABSTRACT

In compressed sensing, the restricted isometry property (RIP) on $M imes N$ sensing matrices (where $M < N$) guarantees efficient reconstruction of sparse vectors. A matrix has the $(s,δ)$-$\mathsf{RIP}$ property if behaves as a $δ$-approximate isometry on $s$-sparse vectors. It is well known that an $M imes N$ matrix with i.i.d. $\mathcal{N}(0,1/M)$ entries is $(s,δ)$-$\mathsf{RIP}$ with high probability as long as $s\lesssim δ^2 M/\log N$. On the other hand, most prior works aiming to deterministically construct $(s,δ)$-$\mathsf{RIP}$ matrices have failed when $s \gg \sqrt{M}$. An alternative way to find an RIP matrix could be to draw a random gaussian matrix and certify that it is indeed RIP. However, there is evidence that this certification task is computationally hard when $s \gg \sqrt{M}$, both in the worst case and the average case. In this paper, we investigate the exact average-case time complexity of certifying the RIP property for $M imes N$ matrices with i.i.d. $\mathcal{N}(0,1/M)$ entries, in the "possible but hard" regime $\sqrt{M} \ll s\lesssim M/\log N$. Based on analysis of the low-degree likelihood ratio, we give rigorous evidence that subexponential runtime $N^{ ildeΩ(s^2/M)}$ is required, demonstrating a smooth tradeoff between the maximum tolerated sparsity and the required computational power. This lower bound is essentially tight, matching the runtime of an existing algorithm due to Koiran and Zouzias. Our hardness result allows $δ$ to take any constant value in $(0,1)$, which captures the relevant regime for compressed sensing. This improves upon the existing average-case hardness result of Wang, Berthet, and Plan, which is limited to $δ= o(1)$.

연구 동기 및 목표

• i.i.d. $\mathcal{N}(0,1/M)$ 원소를 가진 랜덤 $M \times N$ 행렬에 대해 제한된 이소메트릭 성질(RIP)을 증명하는 데 필요한 평균 케이스 계산 복잡도를 규명하는 것.
• 적절하지만 어려운 영역인 $\sqrt{M} \ll s \lesssim M/\log N$에서 기존 알고리즘과 최악의 경우 딱딱함 결과 사이의 격차를 메우는 것.
• 이 영역에서 $N^{\tilde{\Omega}(s^2/M)}$의 하위지수적 런타임이 반드시 필요하다는 철학적 증거를 제공하는 것.
• 이전의 평균 케이스 딱딱함 결과를 $\delta$가 $(0,1)$ 내의 임의의 상수일 수 있도록 확장하여 $\delta = o(1)$로 제한하는 것을 제거하는 것.
• 기존의 Koiran-Zouzias 알고리즘의 런타임과 일치함으로써 하한이 거의 날것 같다는 것을 보여주는 것.

제안 방법

• 스피iked 월리셔트 모델의 저도수 우도 비율을 분석하여 RIP 증명을 위한 계산 하한을 설정한다.
• 희박한 라데마처 사전을 가진 랜덤 벡터의 내적 모멘트를 이용해 차수 $D$의 우도 비율의 $L^2$-노름을 표현한다.
• 일반화된 이항계수의 테일러 전개를 사용하여 우도 비율 표현식의 멱급수 계수를 근사한다.
• 랜덤 지지 집합의 교차에 대한 모멘트 바OUNDS를 적용하여 희박한 사전 하에서 우도 비율의 성장률을 제어한다.
• 분석에서 우도 비율이 유한하고 잘 행동하도록 보장하기 위해 스피크 사전에 절단을 적용한다.
• 점점 커지는 척도 가정($s \leq M$, $D = o(s^2/M)$)을 조합하여 우도 비율 노름에 대해 $O(1)$의 균일한 하한을 유도하며, 이는 계산 딱딱함을 의미한다.

실험 결과

연구 질문

• RQ1 영역 $\sqrt{M} \ll s \lesssim M/\log N$에서 랜덤 가우시안 행렬의 제한된 이소메트릭 성질(RIP)을 증명하는 데 필요한 평균 케이스 시간 복잡도는 무엇인가요?
• RQ2 저도수 우도 비율 방법이 이 영역에서 계산 딱딱함에 대한 엄밀한 증거를 제공할 수 있나요?
• RQ3 기존의 $N^{\tilde{\Omega}(s^2/M)}$ 런타임 하한은 날것 같고, 기존 알고리즘의 런타임과 일치합니까?
• RQ4 평균 케이스 딱딱함 결과는 $\delta$가 $(0,1)$ 내의 임의의 상수일 수 있도록 확장될 수 있나요? ($\delta = o(1)$로 제한할 필요가 없나요?)
• RQ5 스피크 사전의 절단이 우도 비율 분석의 타당성을 보장하는 데 어떤 역할을 하나요?

주요 결과

• 논문은 랜덤 가우시안 행렬에서 $(s,\delta)$-RIP를 증명하기 위한 계산 하한 $N^{\tilde{\Omega}(s^2/M)}$을 설정하며, 이는 Koiran-Zouzias 알고리즘의 런타임과 일치하므로 거의 날것 같다.
• 이 하한은 $(0,1)$ 내의 임의의 상수 $\delta$에 대해 유효하며, 이는 이전 결과가 $\delta = o(1)$로 제한된 것에 비해 크게 향상된 것이다.
• 분석 결과, 절단된 희박한 라데마처 사전 하에서 저도수 우도 비율이 유한하게 유지됨을 보여주며, 이는 평균 케이스에서의 계산 딱딱함에 대한 엄밀한 증거를 제공한다.
• 이 하한은 $s \leq M$ 및 $D = o(s^2/M)$의 가정 하에 유도되었으며, 이는 우도 비율 노름이 $O(1)$이므로 어떤 저도수 알고리즘도 문제를 해결할 수 없음을 의미한다.
• 이 결과는 최대 허용 가능한 희박성 $s$와 필요로 하는 계산 능력 사이의 매끄러운 트레이드오프를 보여주며, 계산 복잡도 측면에서 '제곱 블로킹'을 수학적으로 정의한다.
• 본 연구는 $\delta \in (0,1)$의 전체 관련 영역에 적용 가능하며, 동시에 날것 같고도 타당한 첫 번째 평균 케이스 딱딱함 결과를 제공한다.