[논문 리뷰] Multiple Measurement Vectors Problem: A Decoupling Property and its Applications

Saeid Haghighatshoar, Giuseppe Caire|arXiv (Cornell University)|2018. 10. 31.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 다중 측정 벡터(MMV) 문제에서 ℓ₂,₁-정규화된 최소 제곱법(ℓ₂,₁-LS)에 대해 분리 성질을 확립한다. 이는 알고리즘이 공분산 추정 단계와 개별 신호 복원 단계로 나뉘며, 이는 최소 평균 제곱 오차(MMSE)를 통한 복원을 가능하게 한다. 이 분해는 신호 상관관계와 사전 사전 사전 딕셔너리 불일치가 성능에 미치는 영향을 정밀하게 분석할 수 있게 하며, ℓ₂,₁-LS를 초월한 개선된 MMV 알고리즘 설계로 이어진다.

ABSTRACT

We study a Compressed Sensing (CS) problem known as Multiple Measurement Vectors (MMV) problem, which arises in joint estimation of multiple signal realizations when the signal samples have a common (joint) sparse support over a fixed known dictionary. Although there is a vast literature on the analysis of MMV, it is not yet fully known how the number of signal samples and their statistical correlations affects the performance of the joint estimation in MMV. Moreover, in many instances of MMV the underlying sparsifying dictionary may not be precisely known, and it is still an open problem to quantify how the dictionary mismatch may affect the estimation performance. In this paper, we focus on $\ell_{2,1}$-norm regularized least squares ($\ell_{2,1}$-LS) as a well-known and widely-used MMV algorithm in the literature. We prove an interesting decoupling property for $\ell_{2,1}$-LS, where we show that it can be decomposed into two phases: i) use all the signal samples to estimate the signal covariance matrix (coupled phase), ii) plug in the resulting covariance estimate as the true covariance matrix into the Minimum Mean Squared Error (MMSE) estimator to reconstruct each signal sample individually (decoupled phase). As a consequence of this decomposition, we are able to provide further insights on the performance of $\ell_{2,1}$-LS for MMV. In particular, we address how the signal correlations and dictionary mismatch affects its performance. Moreover, we show that by using the decoupling property one can obtain a variety of MMV algorithms with performances even better than that of $\ell_{2,1}$-LS. We also provide numerical simulations to validate our theoretical results.

연구 동기 및 목표

• 다중 측정 벡터(MMV) 문제에서 신호 샘플 수와 그 통계적 상관관계가 공동 추정 성능에 미치는 영향을 이해하는 것.
• 스parsifying 딕셔너리가 완전히 알려져 있지 않을 때, ℓ₂,₁-LS의 성능에 딕셔너리 불일치가 미치는 영향을 정량화하는 것.
• 새로운 분리 분해를 통해 ℓ₂,₁-LS 성능 분석을 위한 이론적 기반을 확립하는 것.
• 분리 성질을 활용하여 ℓ₂,₁-LS를 초월하는 더 높은 복원 정확도를 보이는 개선된 MMV 알고리즘을 설계하는 것.

제안 방법

• ℓ₂,₁-LS가 두 단계로 분해될 수 있음을 증명한다: (i) 모든 신호 샘플을 사용한 신호 공분산 행렬의 공동 추정, (ii) 추정된 공분산을 사용한 개별 신호 복원을 위한 최소 평균 제곱 오차(MMSE) 방법.
• 행렬 역행렬 및 행렬식 항등식(예: 순위 1 업데이트)을 사용하여 이중 변수 벡터 γ에 대한 목적 함수의 도함수에 대한 닫힌 형태 식을 유도한다.
• 좌표 기반 최강 내림걸음 알고리즘을 사용하여 이중 변수 벡터 γ를 최적화하고, 각 좌표 업데이트에서 최적의 스텝 크기를 구하기 위해 이분법을 적용한다.
• 비용 함수 gₖ(d)의 이중 변수 증분 d에 대한 도함수를 유도하고, g′ₖ(d) = 0의 가장 큰 근을 최적의 업데이트 방향으로 식별한다.
• 이중 변수의 음수 제약 조건을 충족시키기 위해 d* = max{d₀, -γₖ}로 설정하며, 여기서 d₀는 도함수 방정식의 가장 큰 해이다.
• 분리된 구조를 활용하여 다양한 신호 상관관계와 딕셔너리 불일치 조건 하에서의 성능 분석을 수행하고, 향상된 MMV 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 신호 샘플 수와 그 통계적 상관관계는 MMV 문제에서 ℓ₂,₁-LS의 성능에 어떻게 영향을 미치는가?
• RQ2 진짜 스파르스화 딕셔너리가 완전히 알려져 있지 않을 때, 딕셔너리 불일치는 ℓ₂,₁-LS의 추정 정확도에 어떤 영향을 미치는가?
• RQ3 ℓ₂,₁-LS 알고리즘이 공동 공분산 추정과 개별 신호 복원을 분리하는 이중 단계 과정으로 분해될 수 있는가?
• RQ4 분리 성질은 ℓ₂,₁-LS를 초월하는 더 나은 성능을 보이는 MMV 알고리즘 설계를 가능하게 하는가?
• RQ5 ℓ₂,₁-LS의 이중 최적화 문제는 좌표 기반 강하법와 이분법 기반 스텝 크기 선택을 통해 어떻게 효율적으로 해결될 수 있는가?

주요 결과

• MMV 문제에 대한 ℓ₂,₁-LS 추정기는 분리 성질을 가진다: 이는 신호 공분산 행렬 추정의 결합 단계와 추정된 공분산을 사용한 MMSE를 통한 분리 단계로 분해될 수 있다.
• 분리 성질은 신호 상관관계와 딕셔너리 불일치가 추정 성능에 악영향을 미치거나 향상시키는 방식을 정밀하게 이론적으로 분석할 수 있게 한다.
• 좌표 기반 강하법에서 최적의 이중 변수 업데이트는 이분법를 사용해 g′ₖ(d) = 0을 풀어 가장 큰 근을 선택함으로써 도출된다.
• 이중 변수의 음수 제약 조건을 확보하기 위해 d* = max{d₀, -γₖ}로 설정하며, 여기서 d₀는 도함수 방정식의 가장 큰 해이다.
• 유도된 최적화 프레임워크를 통해 ℓ₂,₁-LS보다 평균 제곱 오차 측면에서 더 우수한 성능을 보이는 새로운 MMV 알고리즘 설계가 가능해진다.
• 수치 시뮬레이션은 이론적 결과를 검증하여 분리 근사의 정확성과 제안된 알고리즘 프레임워크의 효과성을 확인한다.