[논문 리뷰] On unified view of nullspace-type conditions for recoveries associated with general sparsity structures

Anatoli Juditsky, Fatma Kılınç Karzan외 1명|arXiv (Cornell University)|2012. 07. 04.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 10

한 줄 요약

이 논문은 일반적인 스파arsity 구조—예를 들어 표준 $β_1$-최소화, 블록 스파arsity 복구, 낮은 질량 행렬 복구—를 선형 측정을 통해 정확하고 강건한 복구를 보장하는 노름공간 유형 조건을 위한 통합 프레임워크를 제안한다. 주요 기여는 이러한 노름공간 성질에 대한 효율적으로 검증 가능한 충분조건을 제공함으로써, 노이즈 및 근사 스파arsity 상황에서 다양한 스파arsity 모델에 대해 오차 한계와 복구 보장을 가능하게 한다.

ABSTRACT

We discuss a general notion of "sparsity structure" and associated recoveries of a sparse signal from its linear image of reduced dimension possibly corrupted with noise. Our approach allows for unified treatment of (a) the "usual sparsity" and "usual $\\ell_1$ recovery," (b) block-sparsity with possibly overlapping blocks and associated block-$\\ell_1$ recovery, and (c) low-rank-oriented recovery by nuclear norm minimization. The proposed recovery routines are natural extensions of the usual $\\ell_1$ minimization used in Compressed Sensing. Specifically we present nullspace-type sufficient conditions for the recovery to be precise on sparse signals in the noiseless case. Then we derive error bounds for imperfect (nearly sparse signal, presence of observation noise, etc.) recovery under these conditions. In all of these cases, we present efficiently verifiable sufficient conditions for the validity of the associated nullspace properties.

연구 동기 및 목표

• 표준 $β_1$-최소화를 초월하여 블록 스파arsity 및 낮은 질량 복구를 포함한 일반적인 스파arsity 구조에 대한 통합적이고 일반적인 접근법을 개발하기 위해.
• 일반적인 스파arsity 모델 하에서 노이즈 없는 경우에 $s$-스파이스 신호의 정확한 복구를 보장하는 노름공간 유형의 충분조건을 수립하기 위해.
• 신호가 거의 스파이스이거나 관측값이 노이즈를 포함할 경우의 비완전한 복구에 대해 계산 가능한 오차 한계를 유도하기 위해.
• 다양한 스파arsity 구조에 걸쳐 노름공간 성질의 타당성을 효율적으로 검증할 수 있는 충분조건을 제공하기 위해.
• 압축 측정, 블록 스파arsity 복구, 핵노름 최소화의 분석을 하나의 이론적 프레임워크로 통합하기 위해.

제안 방법

• 표현 공간 $E$ 위에 노름 $•$, 그 쌍대노름 $•_*$, 가족 ${\cal P}$, 그리고 구조적 공리(A.1–A.3)를 만족하는 관련 가중치와 정규직교 사영자들을 정의함으로써 일반적인 스파arsity 구조를 정의한다.
• $P \in {\cal P}_s$ 가 존재하여 $Pw = w$ 를 만족할 때 $s$-스파이스성을 정의함으로써, 표준 스파이스성, 블록 스파이스성, 낮은 질량 구조를 일반화한다.
• 관측 오차를 제한하는 노름 $\phi$ 를 사용한 제약 최소화를 통한 복구 절차를 제안: $\widehat{x}(y) \in \mathop{\rm Argmin}_{u} \{ \|Bu\| : \phi(Au - y) \leq \epsilon \}$.
• 측정 지도 $A$ 와 구조의 쌍대 사영자들을 바탕으로 노름공간 유형 조건을 유도하여, $Bx$ 가 $s$-스파이스일 경우 정확한 복구를 보장한다.
• 노름공간 성질과 구조의 기하적 성질을 이용하여, 거의 스파이스 신호 및 노이즈가 있는 관측값에 대한 오차 한계를 수립한다.
• 노름공간 성질의 볼록 리 릴랙세이션을 통한 검증 가능한 충분조건을 제공함으로써, 이중선형 연산자 $M''$ 의 노름을 볼록 집합 위에서 제한함으로써 효율적인 계산이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 표준 $β_1$ 최소화, 블록 스파arsity 복구, 낮은 질량 행렬 복구를 위한 복구 보장을 하나의 이론적 프레임워크로 통합할 수 있는가?
• RQ2 일반적인 스파arsity 구조를 가진 신호의 정확한 복구를 위한 필수 및 충분한 노름공간 유형 조건은 무엇인가?
• RQ3 이러한 노름공간 조건을 압축 측정 및 관련 문제에서 실용적으로 사용할 수 있도록 효율적으로 검증할 수 있는가?
• RQ4 노름공간 성질이 성립할 경우, 노이즈 및 근사 스파arsity 하에서 복구에 대해 유도할 수 있는 오차 한계는 무엇인가?
• RQ5 핵이 자명한 감지 지도에 대해서도, 조건이 나쁘더라도 이 프레임워크는 복구 성능을 인증할 수 있는가?

주요 결과

• 제안된 프레임워크는 세 가지 주요 케이스—표준 $β_1$-최소화, 겹치는 블록을 가진 블록 스파arsity 복구, 핵노름 최소화를 통한 낮은 질량 행렬 복구—에 대한 복구 보장을 통합한다.
• 노이즈 없는 경우에 $s$-스파이스 신호의 정확한 복구를 보장하는 노름공간 유형 조건이 유도되었으며, Candès와 Tao의 고전적 노름공간 성질을 일반화한다.
• 이러한 노름공간 성질의 타당성을 효율적으로 검증할 수 있는 충분조건이 제시되었으며, 이는 볼록 집합 위에서 이중선형 연산자 $M''$ 의 노름을 제한하는 데 기반한다.
• $B = \text{Id}$ 인 경우, 이 프레임워크는 모든 $s$ 와 모든 $\beta \geq \beta(s)$ 에 대해 노름공간 성질을 인증할 수 있으며, $\beta(s)$ 는 계산 가능하므로 스파이스성의 함수로서 오차 한계를 제공할 수 있다.
• 검증 가능한 조건는 $s$-좋음의 감지 지도에 대해 $O(\sqrt{m})$ 의 성능 한계를 달성하며, 압축 측정 이론에서 알려진 이론적 한계와 일치한다.
• 수치적 증거는 계산적으로 타당한 리 릴랙세이션 $\mathbf{Z}^*_k$ 가 날카롭고 중복이 없음을 시사하며, 이는 알려진 바에서 가장 작은 효율적 리 릴랙세이션으로 간주된다.