[논문 리뷰] Estimating Unknown Sparsity in Compressed Sensing

Miles E. Lopes|arXiv (Cornell University)|2012. 04. 19.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 13

한 줄 요약

이 논문은 압축 측정(compressed sensing)에서 진짜 희소성 $ \|x\|_0 $ 가 일반적으로 실용적으로 알려져 있지 않음에도 불구하고, 사전 희소성 가정 없이 소수의 선형 측정값만을 사용하여 안정적인 희소성 측정값 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ 를 추정하는 데이터 기반 방법을 제안한다. 이 방법은 신호 차원 $ p $ 와 무관한 너비를 가진 $ s(x) $ 의 신뢰구간을 제공하며, $ n \ll p $ 일 때 결정적 측정값은 큰 최대위험(minimax risk)을 초래하므로 랜덤화된 측정값이 필수적임을 증명한다.

ABSTRACT

In the theory of compressed sensing (CS), the sparsity ||x||_0 of the unknown signal x\in\R^p is commonly assumed to be a known parameter. However, it is typically unknown in practice. Due to the fact that many aspects of CS depend on knowing ||x||_0, it is important to estimate this parameter in a data-driven way. A second practical concern is that ||x||_0 is a highly unstable function of x. In particular, for real signals with entries not exactly equal to 0, the value ||x||_0=p is not a useful description of the effective number of coordinates. In this paper, we propose to estimate a stable measure of sparsity s(x):=||x||_1^2/||x||_2^2, which is a sharp lower bound on ||x||_0. Our estimation procedure uses only a small number of linear measurements, does not rely on any sparsity assumptions, and requires very little computation. A confidence interval for s(x) is provided, and its width is shown to have no dependence on the signal dimension p. Moreover, this result extends naturally to the matrix recovery setting, where a soft version of matrix rank can be estimated with analogous guarantees. Finally, we show that the use of randomized measurements is essential to estimating s(x). This is accomplished by proving that the minimax risk for estimating s(x) with deterministic measurements is large when n<

연구 동기 및 목표

• 이론적으로는 알려져 있으나 실무에서는 일반적으로 알려져 있지 않은 진짜 희소성 $ \|x\|_0 $ 의 부족한 문제를 해결하기 위해.
• 실제 신호에서 정확한 0이 아닌 경우 $ \|x\|_0 $ 가 불안정하므로, 안정적인 대체 측정값으로서 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ 를 도입하기 위해.
• 소수의 선형 측정값만을 사용하고 희소성 가정 없이도 계산 효율적인 추정 절차를 개발하기 위해.
• $ s(x) $ 의 신뢰구간 너비가 신호 차원 $ p $ 와 무관하게 유지되도록 하여 고차원 환경에서의 강인성 확보하기 위해.
• 랜덤화된 측정값이 정확한 추정을 위해 필수적임을 입증하여, $ n \ll p $ 일 때 결정적 측정행렬의 큰 최대위험(minimax risk)을 증명하기 위해.

제안 방법

• 신호 성분이 정확히 0이 아니어도 의미 있는 값을 유지하는 안정적이고 하한이 존재하는 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ 를 $ \|x\|_0 $ 의 대체 측정값으로 제안한다.
• 선형 측정값 $ y = Ax + \epsilon $ 을 확보하기 위해 $ A \in \mathbb{R}^{n \times p} $ 인 랜덤화된 측정행렬을 사용하여 $ y $ 만으로도 $ s(x) $ 를 추정할 수 있도록 한다.
• 관측된 측정값을 바탕으로 $ p $ 와 무관한 너비를 가진 $ s(x) $ 의 신뢰구간을 구성하기 위해, 농도 불등식과 가우시안 최대값의 경계를 활용한다.
• 두 점 사전 분포 구축과 베이즈 위험 분석을 통해 결정적 측정행렬에 대한 최대위험의 하한을 증명한다.
• 같은 측정값을 가지지만 $ s(x) $ 가 다른 신호 집합 $ \{x^\circ, \tilde{x}\} $ 의 두 점 부분집합으로의 축소를 통해 결정적 설계에서의 정확한 추정이 불가능함을 입증한다.
• 삼각 부등식과 위험 최소화를 통해 일정한 위험을 갖는 베이즈 규칙이 하한을 달성함을 보여주며, 랜덤화의 필요성을 증명한다.

실험 결과

연구 질문

• RQ1 사전 지식 없이 $ \|x\|_0 $ 를 가정하지 않고도, 압축 측정에서 신뢰할 수 있고 데이터 기반으로 추정된 신호 희소성 측정값을 확보할 수 있는가?
• RQ2 결정적 측정행렬와 랜덤화된 측정행렬을 사용할 때 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ 의 추정에 대한 기본 한계는 무엇인가?
• RQ3 신호 차원 $ p $ 와 무관한 너비를 가진 $ s(x) $ 의 신뢰구간을 구성할 수 있는가?
• RQ4 $ s(x) $ 의 추정은 측정 수 선택과 복원 알고리즘 튜닝과 같은 압축 측정의 실용적 측면에 어떤 영향을 미치는가?
• RQ5 희소성 가정 없이도 소수의 선형 측정값만을 사용하여 $ s(x) $ 를 높은 신뢰도로 추정할 수 있는가?

주요 결과

• 제안된 $ s(x) $ 추정기의 신뢰구간 너비는 신호 차원 $ p $ 와 무관하여 고차원 문제에 대한 확장성 보장한다.
• 결정적 측정값을 사용한 $ s(x) $ 추정에 대한 최대위험은 $ \frac{p - n - 1}{2(1 + 2\sqrt{2\log(2p)})^2} $ 로 하한이 존재하며, 이는 $ n \ll p $ 일 때 이러한 측정값이 본질적으로 부적합함을 증명한다.
• 랜덤화된 측정값이 정확한 추정을 위해 필수적임을 입증하였으며, 결정적 설계에서는 심지어 $ n $ 가 $ p $ 와 비례하더라도 큰 최대위험을 초래한다.
• 제안된 $ s(x) $ 추정기는 계산적으로 효율적이며 희소성 가정이 필요 없어 실무에서 희소 모델링을 검증하는 데 적합하다.
• 이론적 보장은 매트릭스 복원 설정으로 자연스럽게 확장되며, 유사한 신뢰구간을 갖는 매트릭스 질량의 부드러운 버전을 추정할 수 있다.
• 이 방법은 실세계 압축 측정 응용에서 희소성 가정 검증, 측정 수 선택, 복원 알고리즘 튜닝을 위한 실용적인 도구를 제공한다.