[논문 리뷰] Approximate Message Passing with Nearest Neighbor Sparsity Pattern Learning

Xiangming Meng, Sheng Wu외 4명|arXiv (Cornell University)|2016. 01. 04.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 9

한 줄 요약

이 논문은 기대 최대화(EM)를 통한 k-최근접 이웃 추정을 이용해 군집된 희소성 패턴을 적응적으로 학습하는 약한 메시지 전달 알고리즘인 AMP-NNSPL을 제안한다. 국소적 주변 정보를 기반으로 희소 비율을 업데이트함으로써, 특히 알려지지 않은 희소성 패턴에서, 합성 및 실세계 압축 센싱 작업 전반에서 최신 기술 대비 뛰어난 재구성 성능과 계산 효율성을 달성한다.

ABSTRACT

We consider the problem of recovering clustered sparse signals with no prior knowledge of the sparsity pattern. Beyond simple sparsity, signals of interest often exhibits an underlying sparsity pattern which, if leveraged, can improve the reconstruction performance. However, the sparsity pattern is usually unknown a priori. Inspired by the idea of k-nearest neighbor (k-NN) algorithm, we propose an efficient algorithm termed approximate message passing with nearest neighbor sparsity pattern learning (AMP-NNSPL), which learns the sparsity pattern adaptively. AMP-NNSPL specifies a flexible spike and slab prior on the unknown signal and, after each AMP iteration, sets the sparse ratios as the average of the nearest neighbor estimates via expectation maximization (EM). Experimental results on both synthetic and real data demonstrate the superiority of our proposed algorithm both in terms of reconstruction performance and computational complexity.

연구 동기 및 목표

• 희소성 패턴이 사전에 알려지지 않은 경우 군집된 희소 신호를 재구성하는 데 도전하는 것.
• 단순한 희소성 이상의 재구성 성능 향상을 위해 신호 내 잠재된 군집 구조를 활용하는 것.
• 신호 구조에 대한 사전 지식이 필요 없이 희소성 패턴을 학습할 수 있는 효율적이고 적응적인 알고리즘을 개발하는 것.
• 약한 메시지 전달의 계산적 이점과 k-최근접 이웃 군집화의 구조 인식 능력을 융합하는 것.

제안 방법

• 각 신호 항목에 대해 개별적인 희소 비율 λi를 갖는 유연한 스팘이크 앤 슬래브 사전 확률를 사용하여, 구조적 희소성의 적응적 모델링을 가능하게 한다.
• AMP 반복 후, 각 λi는 현재의 k-최근접 이웃의 추정치 평균을 기반으로 기대 최대화(EM)를 사용해 업데이트된다.
• k-NN 이웃은 현재 신호 추정치를 기반으로 결정되며, 이는 국소적 구조가 전반적인 희소성 패턴 학습에 영향을 주도록 한다.
• 베이지안 추론에서 유도된 폐쇄형 해를 사용해, 신호 추정치, 분산 및 희소 비율을 반복적으로 업데이트한다.
• EM 기반의 희소 비율 학습을 AMP 프레임워크에 통합하여 재구성 과정 중에 희소성 패턴을 온라인으로 적응시키는 것을 가능하게 한다.
• 복잡한 계층적 사전 확률를 명시적으로 모델링하지 않으면서도 군집형 희소성 구조를 여전히 포착할 수 있도록, 저비용 계산 복잡도를 유지한다.

실험 결과

연구 질문

• RQ1 압축 센싱에서 군집된 신호의 희소성 패턴을 추론하고 적응적으로 학습하는 데 k-최근접 이웃 통계가 효과적으로 활용될 수 있는가?
• RQ2 기대 최대화 기반의 이웃 평균화를 통한 적응적 희소성 패턴 학습은 고정 또는 무작위 사전 확률 대비 재구성 성능를 어떻게 향상시키는가?
• RQ3 희소성 패턴이 알려지지 않은 상황에서 AMP-NNSPL은 최신 기술 대비 재구성 정확도와 계산 효율성 면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법은 다양한 신호 대 잡음 비율과 측정 비율에 대해 안정성을 유지하는가?

주요 결과

• 블록 희소 합성 신호 실험에서, 모든 측정 비율에서 AMP-NNSPL이 가장 높은 성공률 및 패턴 복원률을 기록했다.
• 노이즈가 있는 환경(SNR = 50 dB)에서, AMP-NNSPL은 비교된 모든 알고리즘 중에서 가장 낮은 정규화 평균 제곱 오차(NMSE)와 가장 빠른 런타임을 달성했다.
• 희소성 약 0.12인 실세계 2차원 앙지오그램 이미지에서, AMP-NNSPL은 특히 낮은 측정 비율(M/N = 0.12)에서 다른 방법들에 비해 성공률과 NMSE 면에서 뚜렷한 우월성을 보였다.
• M/N = 0.12 및 SNR = 50 dB 조건에서, AMP-NNSPL은 높은 비율의 시험에서 정확한 지원 복원을 달성하며 최상의 시각적 및 정량적 재구성 품질을 확보했다.
• 계산 복잡도가 높은 방법들인 PC-SBL 및 MBCS-LBP와 비교해도 AMP-NNSPL은 뛰어난 성능를 유지했으며, 실세계 테스트에서 고비용으로 인해 이들 방법은 제외되었다.