[논문 리뷰] Block-length dependent thresholds in block-sparse compressed sensing

Mihailo Stojnic|ArXiv.org|2009. 07. 21.

Sparse and Compressive Sensing Techniques참고 문헌 90인용 수 46

한 줄 요약

이 논문은 ℓ2/ℓ1-최적화를 사용한 블록 스퍼스 체감 측정에서 블록 길이에 따라 달라지는 복구 가능한 블록 스퍼스리티에 대한 날카운, 블록 길이 기반의 하한을 설정한다. 측정 행렬의 영공간을 그라스만만다에 균일하게 분포시킨다는 가정 하에, 강한, 단절적, 약한 복구에 대한 이론적 임계값을 유도하며, 이는 블록 길이에 명시적으로 의존한다. 수치 시뮬레이션을 통해 이론적 예측과의 높은 일치를 확인하였다.

ABSTRACT

One of the most basic problems in compressed sensing is solving an under-determined system of linear equations. Although this problem seems rather hard certain $\ell_1$-optimization algorithm appears to be very successful in solving it. The recent work of \cite{CRT,DonohoPol} rigorously proved (in a large dimensional and statistical context) that if the number of equations (measurements in the compressed sensing terminology) in the system is proportional to the length of the unknown vector then there is a sparsity (number of non-zero elements of the unknown vector) also proportional to the length of the unknown vector such that $\ell_1$-optimization algorithm succeeds in solving the system. In more recent papers \cite{StojnicICASSP09block,StojnicJSTSP09} we considered the setup of the so-called extbf{block}-sparse unknown vectors. In a large dimensional and statistical context, we determined sharp lower bounds on the values of allowable sparsity for any given number (proportional to the length of the unknown vector) of equations such that an $\ell_2/\ell_1$-optimization algorithm succeeds in solving the system. The results established in \cite{StojnicICASSP09block,StojnicJSTSP09} assumed a fairly large block-length of the block-sparse vectors. In this paper we consider the block-length to be a parameter of the system. Consequently, we then establish sharp lower bounds on the values of the allowable block-sparsity as functions of the block-length.

연구 동기 및 목표

• 선형 영역에서 ℓ2/ℓ1-최적화의 성능을 분석하기 위해.
• 블록 길이에 대한 함수로서 복구 가능한 블록 스퍼스리티에 대한 날카운 하한을 유도하기 위해.
• 블록 길이에 명시적으로 의존하는 강한, 단절적, 약한 임계값을 설정하기 위해.
• 합성 측정 행렬을 사용한 수치 실험을 통해 이론적 예측을 검증하기 위해.
• 이전 연구에서 큰 블록 길이를 가정한 것을 일반화하여 블록 길이를 시스템 파라미터로 다루기 위해.

제안 방법

• 측정 행렬 A의 영공간이 그라스만만다에 균일하게 분포되어 있다고 가정한다.
• 고차원 확률론 및 측도 집중 도구를 사용하며, 특히 [20, 67, 47]에서 제시된 리프시츠 함수 및 정규 꼬리 경계 결과를 활용한다.
• 블록 스퍼스 복구에 대한 약한, 단절적, 강한 임계값에 대한 이론적 하한을 도출한다.
• ℓ2/ℓ1-최적화가 블록 스퍼스 벡터를 복구하는 데 성공할 수 있는 확률적 프레임워크를 분석한다.
• i.i.d. 가우시안 행렬을 사용하여 복구 성능을 시뮬레이션하는 수치 실험을 수행한다.
• 모의 복구율을 이론적 임계값 예측과 비교하여 강한 일치를 보였다.

실험 결과

연구 질문

• RQ1 블록 길이가 유한한 파rameter일 때 ℓ2/ℓ1-최적화를 사용해 복구할 수 있는 최소 블록 스퍼스리티는 무엇인가?
• RQ2 선형 영역에서 블록 스퍼스 신호에 대한 이론적 복구 임계값은 블록 길이에 어떻게 의존하는가?
• RQ3 블록 길이를 명시적으로 고려하는 약한 임계값에 대한 날카운 하한을 도출할 수 있는가?
• RQ4 이론적 임계값은 시뮬레이션에서 실제 복구 성능을 얼마나 잘 예측하는가?
• RQ5 ℓ2/ℓ1-최적화의 성능은 다양한 블록 길이와 측정 비율에서 일관된가?

주요 결과

• 논문은 선형 영역에서 ℓ2/ℓ1-최적화에 대해 블록 길이에 따라 달라지는 복구 가능한 블록 스퍼스리티에 대한 날카운 하한을 도출하였다.
• 정리 5에서 도출된 이론적 약한 임계값은 모의 복구 성능과 강한 일치를 보였다.
• N=100 및 d=15에서의 수치 실험은 이론적 임계값이 경험적 성공 경계와 매우 가까이 일치함을 확인하였다.
• 이전 연구에서 큰 블록 길이를 가정한 것을 일반화하여 블록 길이를 변수로 다룸으로써 결과를 보다 일반화하였다.
• 분석 프레임워크는 근사 블록 스퍼스 신호, 노이즈 있는 측정, 비볼록 ℓ2/ℓq-최적화(0 < q < 1)로도 확장 가능하다.
• 측정 행렬의 영공간이 그라스만만다에 분포되어 있지 않더라도 이론적 보장이 유지되지만, 이 경우 보다 일반화가 필요하다.