[논문 리뷰] Exploiting Correlation in Sparse Signal Recovery Problems: Multiple Measurement Vectors, Block Sparsity, and Time-Varying Sparsity

Zhilin Zhang, Bhaskar D. Rao|arXiv (Cornell University)|2011. 05. 04.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 17

한 줄 요약

이 논문은 다중 측정 벡터(MMV), 블록 스퍼스리티, 시간에 따라 변화하는 스퍼스리티 모델에서 상관 구조를 적응적으로 학습하고 활용하는 스퍼스 베이지안 학습 알고리즘인 T-SBL을 제안한다. 솔루션 행렬의 행 간 상관을 공유 공분산 행렬로 모델링하고 반복 가중치 프레임워크를 사용함으로써, T-SBL은 기존 방법들에 비해 재구성 정확도를 크게 향상시켰으며, 특히 고상관 구조에서 뚜렷한 성능 향상을 보였다. 시뮬레이션을 통해 상관 MMV 환경에서 실패율이 최대 90% 감소하는 것으로 확인되었다.

ABSTRACT

A trend in compressed sensing (CS) is to exploit structure for improved reconstruction performance. In the basic CS model, exploiting the clustering structure among nonzero elements in the solution vector has drawn much attention, and many algorithms have been proposed. However, few algorithms explicitly consider correlation within a cluster. Meanwhile, in the multiple measurement vector (MMV) model correlation among multiple solution vectors is largely ignored. Although several recently developed algorithms consider the exploitation of the correlation, these algorithms need to know a priori the correlation structure, thus limiting their effectiveness in practical problems. Recently, we developed a sparse Bayesian learning (SBL) algorithm, namely T-SBL, and its variants, which adaptively learn the correlation structure and exploit such correlation information to significantly improve reconstruction performance. Here we establish their connections to other popular algorithms, such as the group Lasso, iterative reweighted $\ell_1$ and $\ell_2$ algorithms, and algorithms for time-varying sparsity. We also provide strategies to improve these existing algorithms.

연구 동기 및 목표

• 기존 압축 감지 알고리즘의 한계를 해결하기 위해 다중 측정 벡터(MMV) 간의 상관관계와 스퍼스 신호 블록 내의 상관관계를 효과적으로 활용하지 못하는 문제를 다루는 것.
• 칼만 필터링 또는 고정 구조 기반 방법들과는 달리 상관관계에 대한 사전 지식이 없이도 상관관계 구조를 적응적으로 학습할 수 있는 방법을 개발하는 것.
• 기존의 반복 가중치 ℓ₁ 및 ℓ₂ 알고리즘들을 블록 스퍼스리티 및 MMV 모델에 통합하고 개선하기 위해 ℓq 노름을 학습된 공분산 행렬을 사용한 마할라노비스 거리로 대체하는 것.
• 시간에 따라 변화하는 스퍼스리티 모델에 대한 스퍼스 베이지안 학습의 적용 범위를 넓히기 위해 이러한 모델을 연결된 MMV 문제로 모델링하는 것.

제안 방법

• T-SBL은 솔루션 행렬 X의 각 행의 동시분포를 평균이 0인 다변량 정규분포로 모델링하며, 공분산 행렬은 γiB로 표현되며, 여기서 B는 행 간 공유되는 데이터 적응형 공분산 행렬이다.
• 알고리즘은 주변 가능도 최대화에서 유도된 폐쇄형 해를 사용하여 반복적으로 솔루션 벡터 x, 하이퍼파rameter γi(행의 스퍼스리티를 나타냄), 그리고 공유 공분산 행렬 B를 업데이트하는 스퍼스 베이지안 학습 프레임워크를 사용한다.
• MMV 모델은 크로네커 곱과 벡터화를 통해 블록 스퍼스 구조로 변환되어, 표준 SBL 기법을 블록 구조 문제에 적용할 수 있도록 한다.
• T-SBL는 반복 가중치 ℓ₂ 및 ℓ₁ 알고리즘과 동치이며, 여기서 가중치는 학습된 공분산 B를 사용한 마할라노비스 거리 기반으로 업데이트되며, 기존의 표준 재가중 기법보다 성능 향상을 이룬다.
• 시간에 따라 변화하는 스퍼스리티의 경우, T-SBL은 신호를 여러 개의 MMV 블록으로 분할하여 각 블록을 별도로 처리하며, 블록별로 B를 추정함으로써 시간적 상관관계를 포착한다.
• 알고리즘은 MMV 및 시간에 따라 변화하는 스퍼스리티 설정에서 최신 기법들과의 비교를 통해 시뮬레이션을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 스퍼스 베이지안 학습 프레임워크는 상관관계에 대한 사전 지식 없이도 다중 측정 벡터(MMV) 내의 알려지지 않은 상관관계 구조를 효과적으로 학습하고 활용할 수 있는가?
• RQ2 반복 가중치 ℓ₁ 및 ℓ₂ 알고리즘에서 ℓq 노름을 마할라노비스 거리로 대체할 경우, 블록 스퍼스리티 및 MMV 복원 성능에 어떤 영향을 미치는가?
• RQ3 T-SBL은 기존 칼만 필터링 및 최소 제곱 압축 감지 방법에 비해 시간에 따라 변화하는 스퍼스리티 모델에서 재구성 성능를 얼마나 향상시킬 수 있는가?
• RQ4 적응형 공분산 추정은 상관 MMV 환경에서 실패율에 어떤 영향을 미치는가?

주요 결과

• 고상관 구조(ρ=0.9)를 가진 MMV 모델에서 T-SBL과 T-MSBL는 실패율을 거의 0으로 낮췄으며, 다른 알고리즘들은 90% 이상의 실패율을 기록했다.
• 상관관계가 없을 경우(ρ=0)에도 T-SBL과 T-MSBL는 높은 성능를 유지하여 다양한 상관관계 수준에서의 강인성을 입증했다.
• 반복 가중치 ℓ₁ 알고리즘에서 ℓ₂ 노름을 마할라노비스 거리로 대체함으로써 성능 향상이 뚜렷하게 나타났으며, 진짜 상관관계 구조가 알려지거나 추정된 경우에 특히 두드러졌다.
• 시간에 따라 변화하는 스퍼스리티 실험에서는 T-SBL이 KF-CS와 LS-CS를 모두 능가했으며, 특히 높은 시간적 상관관계(ρ=0.99) 조건에서 M-SBL를도 초월했다.
• T-SBL에서 행 간에 공유되는 공분산 행렬 B를 사용함으로써 과적합을 방지하고 효과적인 상관관계 학습이 가능했으며, 노이즈가 있거나 신호대노이즈비가 낮은 조건에서도 성능이 유지되었다.
• T-SBL은 노이즈 분산과 상관관계 구조를 함께 추정함으로써 노이즈 파rameter가 알려진 방법들보다 뛰어난 성능를 보였으며, 소음에 강인한 성능를 입증했다.