[논문 리뷰] Stochastic Greedy Algorithms For Multiple Measurement Vectors

Jing Qin, Shuang Li외 5명|arXiv (Cornell University)|2017. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 8

한 줄 요약

이 논문은 다중 측정 벡터(MMV) 문제에서 공동 희소 복원을 위한 확률적 그레디언트 알고리즘—MMV 확률적 반복 하드 테이블링(MStoIHT) 및 MMV 확률적 기울기 매칭 푸르(MStoGradMP)—을 제안한다. 확률적 최적화와 미니배치 기법을 활용함으로써, 병합된 단일 측정 벡터(SMV) 방법 대비 더 빠른 수렴 속도와 뛰어난 성능을 달성하며, 영상 복원 및 선형 시스템에서 이론적 보장과 실험적 검증을 통해 입증된다.

ABSTRACT

Sparse representation of a single measurement vector (SMV) has been explored in a variety of compressive sensing applications. Recently, SMV models have been extended to solve multiple measurement vectors (MMV) problems, where the underlying signal is assumed to have joint sparse structures. To circumvent the NP-hardness of the $\ell_0$ minimization problem, many deterministic MMV algorithms solve the convex relaxed models with limited efficiency. In this paper, we develop stochastic greedy algorithms for solving the joint sparse MMV reconstruction problem. In particular, we propose the MMV Stochastic Iterative Hard Thresholding (MStoIHT) and MMV Stochastic Gradient Matching Pursuit (MStoGradMP) algorithms, and we also utilize the mini-batching technique to further improve their performance. Convergence analysis indicates that the proposed algorithms are able to converge faster than their SMV counterparts, i.e., concatenated StoIHT and StoGradMP, under certain conditions. Numerical experiments have illustrated the superior effectiveness of the proposed algorithms over their SMV counterparts.

연구 동기 및 목표

• 다중 측정 벡터(MMV) 문제에서 병합된 단일 측정 벡터(SMV) 알고리즘의 계산 비효율성과 최적의 공동 희소성 강제화의 부족을 해결한다.
• MMV 문제에서 ℓ₀ 최소화의 NP-난이도를 극복하기 위해, 벡터화나 병합 없이 공동 희소성 구조를 활용하는 확률적 그레디언트 알고리즘을 개발한다.
• 확률적 최적화와 미니배치 기법을 그레디언트 MMV 알고리즘에 통합하여 신호 복원의 수렴 속도와 강건성을 향상시킨다.
• 제안된 알고리즘의 수렴성을 이론적으로 정당화하고 분산 압축 센싱에의 적용 가능성을 보여준다.
• 문헌에서 빈곤한 점을 메우기 위해, 수렴성 논의를 포함한 병합된 SMV 알고리즘에 대한 최초의 이론적 분석을 제공한다.

제안 방법

• MStoIHT와 MStoGradMP를 IHT와 GradMP의 확률적 확장으로 제안하며, 계산 비용을 줄이기 위해 측정 블록의 무작위 샘플링을 사용한다.
• 수렴 안정성 향상과 수렴 속도 향상을 위해 미니배치 기법을 도입하며, 실험에서는 배치 크기 $ b = 3 $ 및 $ d = 20 $ 블록을 사용한다.
• 다중 측정 벡터 간의 공동 희소성 강제를 위해 행 희소성 제약 조건 $ \|X\|_{r,0} \leq k $ 를 활용한다.
• 반복적으로 지지 집합을 정밀화하고 해 행렬을 갱신하기 위해, 하드 테이블링을 적용한 확률적 기울기 하강법을 적용한다.
• 선형 측정 모델에 대해 최소 제곱 손실 함수 $ F(X) = \frac{1}{2}\|Y - AX\|_F^2 $ 를 사용한다.
• 이론적 분석을 통해 제약 강한 볼록성 및 미분 가능성 조건 하에서 수렴성을 확보하였으며, SMV 방법 대비 더 빠른 수렴 속도를 이론적으로 도출하였다.

실험 결과

연구 질문

• RQ1 확률적 그레디언트 알고리즘이 MMV 문제에서 수렴 속도와 정확도 측면에서 결정적 SMV 기반 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 미니배치는 공동 희소 복원에서 확률적 그레디언트 알고리즘의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 제안된 확률적 MMV 알고리즘의 이론적 수렴 행동은 SMV 병합 대비 어떻게 다를 수 있는가?
• RQ4 제안된 알고리즘은 영상 복원과 같은 실제 응용 분야에서 공동 희소 신호를 효과적으로 복원할 수 있는가?
• RQ5 기존의 MMV 해법인 M-FOCUSS나 M-CoSaMP와 비교해, 확률적 MMV 알고리즘이 어떤 조건에서 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 MStoIHT 및 MStoGradMP 알고리즘은 제약 강한 볼록성 및 미분 가능성 조건 하에서 이론적 근거를 바탕으로 기존 SMV 병합 대비 더 빠른 수렴 속도를 보였다.
• 영상 복원 실험에서 BMStoGradMP는 재구성 오차 $ 3.09 \times 10^{-15} $ 와 실행 시간 $ 2.56 \times 10^{-4} $ 초를 기록하여 M-FOCUSS 및 M-OMP보다 정확도와 속도 모두에서 뛰어난 성능을 보였다.
• MStoGradMP 알고리즘은 0.0743초 내에 재구성 오차 $ 2.51 \times 10^{-16} $ 를 달성하였으며, M-FOCUSS($ 3.21 \times 10^{-3} $ 오차) 및 M-HTP($ 5.72 \times 10^{-2} $ 오차)를 크게 능가하였다.
• 제안된 알고리즘은 합성 및 실제 영상 데이터를 통한 검증을 통해 노이즈에 강건하고 분산 압축 센싱에서 뛰어난 성능을 보였다.
• 수렴 분석을 통해 동일 조건 하에서 확률적 MMV 알고리즘이 병합된 SMV 알고리즘보다 더 빠른 수렴 속도를 보이며, 이론적으로 수렴 속도 보장이 가능하다는 것이 확인되었다.
• 미니배치의 사용은 수치 실험에서 더 빠른 수렴과 낮은 잔차 오차를 통해 알고리즘의 안정성과 효율성을 크게 향상시켰다.