[논문 리뷰] Optimality of $\ell_2/\ell_1$-optimization block-length dependent thresholds

Mihailo Stojnic|arXiv (Cornell University)|2013. 03. 29.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 i.i.d. 가우시안 측정 행렬 하에서 $β$-블록 스파스 신호 복원을 위한 $Â𝔵_2/\u00c2ÂÂÂ_1$-최적화의 정확한 약한 임계값을 확립하며, 이전 연구에서 유도된 하한값이 정확히 맞는다는 것을 증명함으로써 상한값을 유도한다. 이 결과는 블록 스파스 복원의 성능을 완전하고 최적의 방식으로 특성화한다.

ABSTRACT

The recent work of \cite{CRT,DonohoPol} rigorously proved (in a large dimensional and statistical context) that if the number of equations (measurements in the compressed sensing terminology) in the system is proportional to the length of the unknown vector then there is a sparsity (number of non-zero elements of the unknown vector) also proportional to the length of the unknown vector such that $\ell_1$-optimization algorithm succeeds in solving the system. In more recent papers \cite{StojnicCSetamBlock09,StojnicICASSP09block,StojnicJSTSP09} we considered under-determined systems with the so-called extbf{block}-sparse solutions. In a large dimensional and statistical context in \cite{StojnicCSetamBlock09} we determined lower bounds on the values of allowable sparsity for any given number (proportional to the length of the unknown vector) of equations such that an $\ell_2/\ell_1$-optimization algorithm succeeds in solving the system. These lower bounds happened to be in a solid numerical agreement with what one can observe through numerical experiments. Here we derive the corresponding upper bounds. Moreover, the upper bounds that we obtain in this paper match the lower bounds from \cite{StojnicCSetamBlock09} and ultimately make them optimal.

연구 동기 및 목표

• 이전에 유도된 하한값과 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-최적화를 통한 블록 스파스 복원의 진정한 성능 한계 사이의 격차를 메우기 위해.
• 이전 연구 [39]에서 유도된 하한값과 일치하는 상한값을 유도하여, 블록 스파스 신호 복원의 약한 임계값에 대한 최적성을 입증하기 위해.
• i.i.d. 가우시안 측정 행렬 하에서 선형 영역에서 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-최적화의 성공 확률을 완전한 이론적 특성화를 제공하기 위해.
• 이전의 하한 프레임워크 [39]를 새로운 상한 기반 메커니즘과 융합하여 정확한 임계값 특성화를 달성하기 위해.

제안 방법

• 고차원 기하학과 측도의 집중 이론에 기반한 새로운 이론적 프레임워크를 사용하여 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-최적화의 약한 임계값에 대한 상한값을 유도한다.
• 대규모 차원 근사에서의 확률적 분석과 점진적 분석을 조합하여 성공적 복원과 실패적 복원 사이의 경계를 특성화한다.
• 하한값에 대한 프레임워크 [39]를 활용하고, 새로운 부등식과 근사법을 추가하여 일치하는 상한값을 도출한다.
• 역Incomplete 감마 함수와 카이제곱 꼬리 확률 근사법을 적용하여 고차원에서의 블록 노름 행동을 모델링한다.
• 블록 크기 $d$, 스파스 레벨 $β_w$, 측정 비율 $α$를 포함한 고정점 방정식을 정의하는 방정식 (50)과 (51)의 시스템을 유도한다. 이 시스템의 해가 약한 임계값을 나타낸다.
• 상한값과 하한값이 정확히 일치함을 보여 상한값의 정확성을 입증함으로써, 임계값의 최적성을 확인한다.

실험 결과

연구 질문

• RQ1 i.i.d. 가우시안 측정 행렬 하에서 $k$-블록 스파스 신호를 복원하기 위한 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-최적화의 정확한 약한 임계값은 무엇인가?
• RQ2 이전에 유도된 약한 임계값에 대한 하한값이 일치하는 상한값을 유도함으로써, 이 하한값이 최적임을 입증할 수 있는가?
• RQ3 블록 크기 $d$는 선형 영역에서 최적 복원 임계값에 어떤 영향을 미치는가?
• RQ4 블록 스파스 구조는 표준 $ÂÂÂÂ_1$-최적화에 비해 복원 성능을 어느 정도 향상시키는가?

주요 결과

• 이 논문에서 유도된 상한값은 [39]에서 유도된 하한값과 정확히 일치하며, 이는 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-최적화의 약한 임계값이 최적임을 입증한다.
• 정확한 약한 임계값은 블록 크기 $d$, 정규화된 블록 스파스 레벨 $β_w$, 측정 비율 $α$에 의존하는 방정식 (50)과 (51)의 해로 특성화된다.
• 임의의 고정된 $d$에 대해, 시스템 매개변수가 (50)과 (51)의 등식 조건을 만족할 때 최적의 임계값이 달성되며, 이는 높은 확률로 복원이 가능함을 보장한다.
• 유도된 상한값 조건 (53)은 복원이 높은 확률로 실패하는 임계점을 정의하며, 이는 임계값의 날카로움을 확인한다.
• 결과는 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-최적화의 블록 스파스 설정에서의 성능이 유도된 임계값에 의해 본질적으로 제한되며, 동일한 가정 하에서는 향상이 불가능하다는 것을 확인한다.
• 이전 연구 [39]에서 관찰된 이론적 경계와 수치 시뮬레이션 간의 일치가 이제 정확함을 엄밀히 입증되었으며, 근사적인 일치가 아니라는 점이 확인된다.