[논문 리뷰] 1-Bit Compressive Sensing via Approximate Message Passing with Built-in Parameter Estimation

Shuai Huang, Trac D. Tran|arXiv (Cornell University)|2020. 07. 15.

Sparse and Compressive Sensing Techniques참고 문헌 61인용 수 6

한 줄 요약

이 논문은 1비트 압축 측정에서 신호 및 잡음 분포 파라미터를 알려지지 않은 것으로 간주하여 함께 복원할 수 있도록 내장된 파라미터 추정 기능을 갖춘 새로운 근사 메시지 전달(AMP) 프레임워크를 제안한다. 베이지안 추론과 계산적으로 효율적인 최적화 기법을 활용하여, 수동 파라미터 조정이 필요 없이 영역, 중간, 고잡음 환경에서 모두 최신 기술 수준의 성능을 달성한다.

ABSTRACT

1-bit compressive sensing aims to recover sparse signals from quantized 1-bit measurements. Designing efficient approaches that could handle noisy 1-bit measurements is important in a variety of applications. In this paper we use the approximate message passing (AMP) to achieve this goal due to its high computational efficiency and state-of-the-art performance. In AMP the signal of interest is assumed to follow some prior distribution, and its posterior distribution can be computed and used to recover the signal. In practice, the parameters of the prior distributions are often unknown and need to be estimated. Previous works tried to find the parameters that maximize either the measurement likelihood via expectation maximization, which becomes increasingly difficult to solve in cases of complicated probability models. Here we propose to treat the parameters as unknown variables and compute their posteriors via AMP as well, so that the parameters and the signal can be recovered jointly. Compared to previous methods, the proposed approach leads to a simple and elegant parameter estimation scheme, allowing us to directly work with 1-bit quantization noise model. Experimental results show that the proposed approach generally perform much better than the other state-of-the-art methods in the zero-noise and moderate-noise regimes, and outperforms them in most of the cases in the high-noise regime.

연구 동기 및 목표

• AMP의 실용적 적용을 방해하는 1비트 압축 측정에서 알려지지 않은 사전 분포 및 잡음 분포 파라미터 문제를 해결한다.
• 신호 및 분포 파라미터를 함께 추정함으로써 복원 정확도를 향상시키는 통합 프레임워크를 개발한다.
• 복잡한 양자화 잡음 과정을 직접 모델링하여 1비트 측정에서의 노이즈에 강건한 성능을 달성한다.
• 수동 파라미터 조정이나 사전 지정된 잡음 모델이 필요 없도록 하여 알고리즘의 안정성과 사용 용이성을 향상시킨다.
• 실제 노이즈 상황에서 참값이 알려진 오라클 AMP와 유사한 성능을 달성한다.

제안 방법

• 신호 및 잡음 분포 파라미터를 잠재 변수로 간주하고, AMP 프레임워크 내에서 베이지안 추론을 통해 그 사후분포를 계산한다.
• 일반화된 근사 메시지 전달(GAMP)을 사용하여 가우시안 근사 기반의 사후분포를 근사한다.
• EM 유사 최적화 전략과 두 번째 차수 방법을 결합하여 파라미터와 신호의 사후분포를 동시에 최대화한다.
• 다양한 측정 행렬에 대해 수렴 안정성을 향상시키기 위해 덤프링 및 평균 제거 기법을 적용한다.
• 이전 연구에서 사용된 근사 기법을 피하기 위해, 1비트 양자화 잡음을 확률적 우도 함수를 사용해 직접 모델링한다.
• 신호 추정과 파라미터 갱신 단계를 번갈아가며 수행하는 통합 최적화 기법을 도입하여 파라미터의 종단 간 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델링에 필요한 노이즈 또는 희박성 수준에 대한 사전 지식 없이도 1비트 압축 측정에서 통합 AMP 프레임워크가 신호 및 분포 파라미터를 함께 추정할 수 있는가?
• RQ2 고정되거나 조정된 파라미터에 의존하는 기존 방법과 비교해 본다면, 제안된 파라미터 추정 기법은 어떤가?
• RQ3 기존 AMP 접근법에서 사용하는 간단화된 또는 근사된 잡음 가정과 비교해 볼 때, 이 방법은 얼마나 복잡한 양자화 잡음 모델을 다룰 수 있는가?
• RQ4 신호 및 파라미터의 공동 회복이 다양한 잡음 수준(영, 중간, 고잡음)에서 강건성과 성능 향상에 기여하는가?
• RQ5 알고리즘 성능은 초기화에 얼마나 민감한가? 수동 조정 없이도 수렴성과 정확도를 확보할 수 있는가?

주요 결과

• 제안된 AMP-PE 방법은 오버샘플링 비율 M/N ≥ 2일 경우 참값이 알려진 오라클 AMP와 유사한 성능을 달성한다.
• 영잡음 및 중간잡음 환경(γw = 0 및 γw = 0.02)에서 AMP-PE는 IHT, OMP, CoSaMP, l1-최소화와 같은 최신 기술 수준의 방법들을 뛰어넘는 성능을 보인다.
• 고잡음 환경(γw = 0.1)에서도 대부분의 테스트 설정에서 다른 방법들을 능가하며, 강건성을 입증한다.
• 수동 정규화나 파라미터 조정이 필요 없어 1비트 CS에 즉시 적용 가능한 플러그 앤 플레이 솔루션을 제공한다.
• 수렴성과 성능에 있어 신호 초기화보다 파라미터 초기화가 더 중요함이 밝혀져, 강력한 초기화 전략의 중요성을 강조한다.
• 기존 AMP 방법이 단순화되거나 근사된 잡음 가정에 의존하는 것과 달리, 이 프레임워크는 직접적으로 복잡한 1비트 양자화 잡음 모델을 처리할 수 있다.