[논문 리뷰] On the Certification of the Restricted Isometry Property

Pascal Koiran, Anastasios Zouzias|arXiv (Cornell University)|2011. 03. 25.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 9

한 줄 요약

이 논문은 압축 감지에서 제한된 입사성질(RIP)을 증명하는 데 있어 계산적 난이도 결과를 확립하며, RIP 매개변수를 검증하는 것이 합리적인 복잡도 가정 하에 다항 시간 내에 실행 가능할 가능성이 없음을 보여준다. 이는 밀도 높은 부분그래프가 존재하지 않음을 증명하기 위한 스펙트럼 알고리즘을 도입하고, 브루트포스 RIP 검증을 '게으른 순서 정렬' 방식으로 개선하여, √n 이론 이외의 영역에서 RIP 증명이 계산적으로 어려운 이유를 제시한다.

ABSTRACT

Compressed sensing is a technique for finding sparse solutions to underdetermined linear systems. This technique relies on properties of the sensing matrix such as the restricted isometry property. Sensing matrices that satisfy the restricted isometry property with optimal parameters are mainly obtained via probabilistic arguments. Given any matrix, deciding whether it satisfies the restricted isometry property is a non-trivial computational problem. In this paper, we give reductions from dense subgraph problems to the certification of the restricted isometry property. This gives evidence that certifying the restricted isometry property is unlikely to be feasible in polynomial-time. Moreover, on the positive side we propose an improvement on the brute-force enumeration algorithm for checking the restricted isometry property. Another contribution of independent interest is a spectral algorithm for certifying that a random graph does not contain any dense k-subgraph. This "skewed spectral algorithm" performs better than the basic spectral algorithm in a certain range of parameters.

연구 동기 및 목표

• 감측 행렬에 대한 제한된 입사성질(RIP)을 검증하는 데 있어 계산 복잡도를 조사한다.
• 다항 시간 알고리즘이 RIP 매개변수를 증명하거나 서로 다른 RIP 순서를 가진 행렬을 구별할 수 있는지 여부를 규명한다.
• 최적화된 순서 정렬 전략을 통해 브루트포스 RIP 검증을 개선할 수 있는지 탐색한다.
• RIP 증명과 밀도 높은 부분그래프 탐지 문제 사이의 연결 고리를 설정하며, 복잡도 이론적 가정을 활용한다.

제안 방법

• 밀도 높은 부분그래프 문제를 제한된 입사성질의 증명으로 환원하여, 합리적인 가정 하에 RIP 증명이 계산적으로 어려운 것을 보여준다.
• 모든 k-희소 부분공간 대신 l < k 기저 벡터로 생성된 부분공간을 순서 정렬하는 '게으른 알고리즘'을 제안하여, √n 장벽을 略로 넘어서는 약간 더 나은 성능을 달성한다.
• 무작위 그래프에서 밀도 높은 k-부분그래프가 존재하지 않음을 증명하는 데 있어 표준 스펙트럼 방법보다 뛰어난 성능을 보이는 '편향된 스펙트럼 알고리즘'을 도입한다.
• 특정 매개변수 조건 하에서 증명 가능한 RIP 성질을 가진 행렬을 구축하기 위해 무작위 행렬 구성(예: ±1 베르누이 행렬)을 활용한다.
• NP가 부분지수 랜덤 알고리즘을 갖지 않는다는 가정(예: NP가 sub-exponential randomized algorithms를 갖지 않는다는 가정) 하에서 밀도 높은 k-부분그래프 문제로의 환원을 적용하여, RIP 증명의 난이도를 확립한다.
• 레마 6을 활용하여 기본 행렬 C(G)의 RIP 성질을 블록 대각 행렬 C′(G) = diag(C(G), B_n)로 이전하여, RIP 행동을 유지하거나 확장한다.

실험 결과

연구 질문

• RQ1 k > √n 인 행렬에 대해 다항 시간 내에 제한된 입사성질을 증명하는 것이 가능한가?
• RQ2 RIP 증명의 계산적 난이도를 밀도 높은 부분그래프 탐지와 같은 알려진 난이도 높은 문제로 환원할 수 있는가?
• RQ3 RIP 순서 k와 매개변수 δ 사이의 상호 교환 관계는 무엇이며, 이를 알고리즘적으로 어떻게 활용할 수 있는가?
• RQ4 스펙트럼 방법을 어떻게 개선하여 무작위 그래프에서 밀도 높은 부분그래프의 존재 여부 또는 부재 여부를 더 잘 감지하거나 증명할 수 있는가?
• RQ5 작은 vs 더 큰 RIP 매개변수를 갖는 행렬을 구별하는 데 다항 시간 알고리즘이 존재한다면, 이는 알려진 복잡도 가정과 모순되는가?

주요 결과

• 가정 2에 따르면, NP가 부분지수 랜덤 알고리즘을 갖지 않는다고 가정할 때, k = Θ(n) 순서의 행렬에 대해 RIP를 증명하는 것은 다항 시간 내에 실행 가능할 가능성이 낮다.
• 논문은 δ₁ = κ/2 및 δ₂ = κ 인 행렬을 k = Θ(n)에서 구별하는 것이 어렵다는 것을 입증하며, κ ≤ √5/3 ≈ 0.745 이므로, 중간 정도의 RIP 매개변수를 구별하는 것조차 계산적으로 도전적인 일임을 시사한다.
• k = n^{3/4}일 경우, 가정 1 하에 δ₁ = c₁n^{-1/12} 및 δ₂ = λc₁n^{-1/12} (모든 λ > 1에 대해)를 구별하는 데 난이도가 있음을 보여주며, 이는 작은 매개변수 차이조차도 탐지하기 어려운 것을 의미한다.
• '게으른 순서 정렬' 알고리즘은 l < k 기저 벡터로 생성된 부분공간으로 검색 공간을 줄여 브루트포스보다 개선된 성능을 보이며, 준다항 시간이 허용될 경우 √n 장벽을 略로 넘어서는 검증이 가능하다.
• 새로운 '편향된 스펙트럼 알고리즘'은 무작위 그래프에서 밀도 높은 k-부분그래프가 존재하지 않음을 증명하는 데 있어 표준 스펙트럼 방법보다 뛰어난 성능을 보이며, 특정 매개변수 범위에서 특히 유리하다.
• 이론적 결과는 k = αn 이며 충분히 작은 α > 0 이면, 랜덤한 n×99n 행렬이 n ≥ Cδ₀⁻²k log(eN/k) 조건을 만족할 경우, 매개변수 δ₀로 RIP 순서 k를 만족함을 보여주며, 충분히 작은 δ₀에 대해 이는 성립하므로, 이러한 행렬의 존재를 뒷받침한다.