[논문 리뷰] A Concise Tutorial on Approximate Message Passing

Qiuyun Zou, Hongwen Yang|arXiv (Cornell University)|2022. 01. 19.

Sparse and Compressive Sensing TechniquesEngineering인용 수 19

한 줄 요약

이 논문은 선형 회귀에서 고차원 희소 신호 복원을 위한 근사 메시지 전파(AMP) 및 그 고도화된 변종인 OAMP, VAMP, MAMP에 대한 종합적인 튜토리얼을 제공한다. AMP는 메시지 전파 원리에서 유도되며, 성능 예측을 위한 상태 진화(state evolution)가 수립된다. OAMP 및 MAMP를 통해 i.i.d. 측정 행렬이 아닌 경우에도 적용 가능하게 확장되며, 더 넓은 조건 하에서 수렴성과 베이즈 최적 성능을 보인다.

ABSTRACT

High-dimensional signal recovery of standard linear regression is a key challenge in many engineering fields, such as, communications, compressed sensing, and image processing. The approximate message passing (AMP) algorithm proposed by Donoho extit{et al} is a computational efficient method to such problems, which can attain Bayes-optimal performance in independent identical distributed (IID) sub-Gaussian random matrices region. A significant feature of AMP is that the dynamical behavior of AMP can be fully predicted by a scalar equation termed station evolution (SE). Although AMP is optimal in IID sub-Gaussian random matrices, AMP may fail to converge when measurement matrix is beyond IID sub-Gaussian. To extend the region of random measurement matrix, an expectation propagation (EP)-related algorithm orthogonal AMP (OAMP) was proposed, which shares the same algorithm with EP, expectation consistent (EC), and vector AMP (VAMP). This paper aims at giving a review for those algorithms. We begin with the worst case, i.e., least absolute shrinkage and selection operator (LASSO) inference problem, and then give the detailed derivation of AMP derived from message passing. Also, in the Bayes-optimal setting, we give the Bayes-optimal AMP which has a slight difference from AMP for LASSO. In addition, we review some AMP-related algorithms: OAMP, VAMP, and Memory AMP (MAMP), which can be applied to more general random matrices.

연구 동기 및 목표

• 신호 처리 및 머신 러닝 분야의 연구자들을 대상으로 근사 메시지 전파(AMP) 및 그 고도화된 변종에 대한 통합적이고 접근 가능한 튜토리얼을 제공하는 것.
• AMP를 메시지 전파 원리에서 유도하고, 성능 예측을 위한 상태 진화(SE)를 사용하여 이론적 기반을 확립하는 것.
• i.i.d. 서브가우시안 행렬을 초월해 더 일반적인 랜덤 측정 행렬을 다룰 수 있도록 OAMP 및 MAMP를 도입하여 AMP의 적용 가능성을 확장하는 것.
• 다양한 조건수 하에서 MAMP와 OAMP의 수렴 성질, 계산 복잡도, 평균 제곱오차(MSE) 성능를 비교하는 것.
• 이 알고리즘들의 점근적 MSE가 각각의 상태 진화 방정식에 의해 완전히 예측될 수 있음을 보여주는 것.

제안 방법

• 그래프 모델에서 베이지안 추론을 단순화하기 위해 라플라스 근사법을 사용하여 신뢰도 전파 및 메시지 전파에서 AMP를 유도한다.
• AMP의 점근적 MSE를 예측하는 결정론적 스칼라 재귀인 상태 진화(SE)를 도입한다.
• 비i.i.i.d. 행렬에 대한 수렴성을 향상시키기 위해 선형 최소 제곱 오차(LMMSE) 비선형화 행렬과 발산이 없는 디노이징 기법을 사용한 OAMP를 제안한다.
• 메모리 기반의 행렬 역행렬 근사와 이전 메시지의 기억을 통합하여 메시지 간의 수직성과 안정성을 강제함으로써 MAMP(Memory AMP)를 개발한다.
• 측정 행렬의 스펙트럼 분해를 활용하여 MAMP의 설계를 지원하고, 상태 진화를 통한 수렴성 분석을 가능하게 한다.
• Haar 분포를 가진 행렬과 다양한 조건수를 가진 시뮬레이션을 통해 MAMP와 OAMP의 수렴 속도 및 NMSE 성능을 평가한다.

실험 결과

연구 질문

• RQ1 AMP는 어떻게 메시지 전파 원리에서 체계적으로 유도될 수 있으며, 상태 진화는 그 성능 예측에 어떤 역할을 하는가?
• RQ2 표준 AMP는 비i.i.i.d. 측정 행렬에서 수렴하지 못하는 이유는 무엇이며, 이러한 한계는 어떻게 극복할 수 있는가?
• RQ3 OAMP의 핵심 설계 원리는 무엇이며, 이는 유니터리 불변 랜덤 행렬에 대해 수렴성과 최적성을 유지하는 데 어떻게 기여하는가?
• RQ4 MAMP는 OAMP에 비해 수렴 안정성과 악조건 행렬에 대한 적용 가능성에서 어떻게 향상되었으며, 계산 복잡도의 상충 관계는 어떠한가?
• RQ5 MAMP와 OAMP의 점근적 MSE는 각각의 상태 진화 방정식에 의해 어느 정도까지 예측 가능한가?

주요 결과

• 측정 행렬이 i.i.d. 서브가우시안일 경우, AMP는 대규모 시스템 한계에서 베이즈 최적의 평균 제곱오차(MSE) 성능을 달성한다.
• OAMP는 LMMSE 비선형화 행렬과 발산이 없는 디노이징 기법을 통합함으로써 AMP의 수렴성을 유니터리 불변 랜덤 행렬으로 확장하지만, 계산 복잡도가 높아진다.
• MAMP는 메모리 기반의 행렬 역행렬 근사와 메시지 간의 삼중 수직성 강제 조건을 통해 더 넓은 범위의 랜덤 행렬에 대해 안정적인 수렴성을 달성한다.
• 조건수(κ(H))가 증가하는 시뮬레이션에서 MAMP와 OAMP 모두 수렴 속도가 떨어지고 NMSE가 증가하지만, MAMP는 OAMP와 동일한 固定点에 수렴한다.
• MAMP의 점근적 MSE는 측정 행렬의 스펙트럼 특성과 이전 메시지 통계에 따라 그 상태 진화 방정식을 통해 완전히 예측 가능하다.