[논문 리뷰] Sparse reconstruction by convex relaxation: Fourier and Gaussian measurements

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|2006. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 38

한 줄 요약

이 논문은 가우시안 측정과 푸리에 측정 모두에 대해 합리적인 상수를 갖는 볼록 최소화를 통한 정확한 희소 신호 복원에 대해 최초로 이론적 보장을 수립한다. 가우시안 측정에 대해 $ k(r,n) \lesssim 11.7r[1.5 + \log(n/r)] $이며, 푸리에 측정에 대해 $ k(r,n) = O(r\log n \cdot \log^2 r \cdot \log(r\log n)) $임을 증명한다. 기하학적 함수 해석학과 난수 행렬 이론의 도구를 사용하여 이론적 상수의 최적 스케일링을 로그 인자 수준에서 달성한다.

ABSTRACT

We want to exactly reconstruct a sparse signal f (a vector in R^n of small support) from few linear measurements of f (inner products with some fixed vectors). A nice and intuitive reconstruction by Linear Programming has been advocated since 80-ies by Dave Donoho and his collaborators. Namely, one can relax the reconstruction problem, which is highly nonconvex, to a convex problem -- and, moreover, to a linear program. However, when is exactly the reconstruction problem equivalent to its convex relaxation is an open question. Recent work of many authors shows that the number of measurements k(r,n) needed to exactly reconstruct any r-sparse signal f of length n (a vector in R^n of support r) from its linear measurements with the convex relaxation method is usually O(r polylog(n)). However, known estimates of the number of measurements k(r,n) involve huge constants, in spite of very good performance of the algorithms in practice. In this paper, we consider random Gaussian measurements and random Fourier measurements (a frequency sample of f). For Gaussian measurements, we prove the first guarantees with reasonable constants: k(r,n) < 12 r (2 + log(n/r)), which is optimal up to constants. For Fourier measurements, we prove the best known bound k(r,n) = O(r log(n) . log^2(r) log(r log n)), which is optimal within the log log n and log^3 r factors. Our arguments are based on the technique of Geometric Functional Analysis and Probability in Banach spaces.

연구 동기 및 목표

• 볼록 최소화를 통한 희소 복원에서 이론적 한계와 실용적 성능 사이의 격차를 메우기 위해.
• 가우시안 및 푸리에 측정을 포함한 유니버설 측정 행렬에 대해 처음으로 명시적인 상수를 갖는 엄밀한 보장을 제공하기 위해.
• 길이 $ n $ 인 $ r $-희소 신호의 정확한 복원을 위해 필요한 측정 수 $ k(r,n) $ 에 대한 기존의 한계를 향상시키기 위해.
• 가우시안 및 푸리에 측정 모델에 대해 $ k(r,n) $ 의 최적 스케일링을 로그 인자 수준에서 수립하기 위해.
• 고차원 확률론과 바나흐 공간 기하학의 도구를 활용하여 간결하고 명료한 증명을 도출하기 위해.

제안 방법

• 논문은 비볼록 $ \ell_0 $-최소화와 볼록 $ \ell_1 $-최소화 문제 간의 동치성을 보장하기 위해 제한 이sovolumetric 성질(RIP)을 충분조건으로 사용한다.
• 무작위 부분공간이 $ \ell_1 $-노름 내림방향의 원뿔과 만날 확률을 제한하기 위해 고든의 메시를 빠져나가는 정리(Gordon’s escape through the mesh theorem)를 적용한다.
• 횔러의 부등식과 스타링어의 근사법을 사용하여 $ \ell_1 $-노름에서 $ r $-희소 단위 벡터의 집합의 가우시안 폭을 제한한다.
• 모든 $ r $-희소 신호를 포함하는 유니버설 원뿔을 정의하고, 이가 $ r $-희소 단위 벡터의 볼록 결합의 스케일링된 형태에 포함됨을 보여준다.
• 측도 엔트로피와 농도 부등식을 통해 $ \ell_1 $-노름 원뿔의 구조와 무작위 부분공간 간의 상호작용을 활용하여 증명한다.
• 해석을 가우시안 측정과 비조화 푸리에 측정 모두에 확장하기 위해, 관련 측정 집합의 가우시안 폭을 제한한다.

실험 결과

연구 질문

• RQ1 가우시안 측정에 대해 $ \ell_1 $-최소화를 통한 임의의 $ r $-희소 신호의 정확한 복원을 보장하기 위해 필요한 최소 측정 수 $ k(r,n) $ 는 얼마인가?
• RQ2 실용적 성능에 맞추어 푸리에 측정에 대한 이론적 보장을 향상시킬 수 있는가, 특히 합리적인 상수를 갖는가?
• RQ3 유니버설 측정 행렬에 대해 $ k(r,n) $ 의 최적 스케일링은 로그 인자 수준에서 어떻게 되는가?
• RQ4 기하학적 함수 해석학 도구를 어떻게 활용하여 희소 집합의 가우시안 폭에 대한 날카운 상한을 도출할 수 있는가?
• RQ5 명시적이고 비점근적인 상수를 갖는 무작위 푸리에 및 가우시안 행렬에 대해 제한 이sovolumetric 성질(RIP)이 높은 확률로 확인될 수 있는가?

주요 결과

• 가우시안 측정에 대해 논문은 $ k(r,n) \lesssim 11.7r[1.5 + \log(n/r)] $ 를 수립하며, 이는 상수 수준에서 최적이다.
• 푸리에 측정에 대해 논문은 $ k(r,n) = O(r\log n \cdot \log^2 r \cdot \log(r\log n)) $ 를 증명하며, 이는 $ \log\log n $ 와 $ \log^3 r $ 인자 수준에서 최적이다.
• 무작위 부분공간이 $ \ell_1 $-원뿔과 만날 확률을 제한하기 위해 고든의 메시를 빠져나가는 정리의 새로운 응용을 통해 결과를 도출한다.
• 가우시안 폭은 $ w(D) \leq \sqrt{2r\log(e^{3/2}n/r)}(1+o(1)) $ 로 제한되며, 이는 분석의 핵심이다.
• 증명은 $ \ell_1 $-최소화의 내림방향 원뿔이 $ r $-희소 단위 벡터의 볼록 결합의 $ \sqrt{2}+1 $ 배 크기의 유니버설 집합에 포함됨을 보여준다.
• 고차원 확률론과 바나흐 공간 기하학의 도구를 활용하여 간결하고 명료한 증명을 달성하였으며, 이는 이전의 큰 상수를 갖는 한계를 향상시킨다.