[논문 리뷰] Memory Approximate Message Passing

Lei Liu, Shunqi Huang외 1명|arXiv (Cornell University)|2021. 06. 04.

Advanced Adaptive Filtering Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 오른쪽 유니터리로 불변하는 행렬을 갖는 고차원 선형 시스템을 위한 저복잡도, 베이즈 최적 알고리즘인 메모리 근사 메시지 패싱(MAMP)을 제안한다. 장기 메모리 매칭 필터와 추정 오차의 직교화를 통합함으로써, MAMP는 이전에 고복잡도 LMMSE에 의존해야 했던 OAMP/VAMP 수준의 성능를 달성하면서도 AMP 수준의 복잡도를 유지한다.

ABSTRACT

Approximate message passing (AMP) is a low-cost iterative parameter-estimation technique for certain high-dimensional linear systems with non-Gaussian distributions. However, AMP only applies to independent identically distributed (IID) transform matrices, but may become unreliable for other matrix ensembles, especially for ill-conditioned ones. To handle this difficulty, orthogonal/vector AMP (OAMP/VAMP) was proposed for general right-unitarily-invariant matrices. However, the Bayes-optimal OAMP/VAMP requires high-complexity linear minimum mean square error estimator. To solve the disadvantages of AMP and OAMP/VAMP, this paper proposes a memory AMP (MAMP), in which a long-memory matched filter is proposed for interference suppression. The complexity of MAMP is comparable to AMP. The asymptotic Gaussianity of estimation errors in MAMP is guaranteed by the orthogonality principle. A state evolution is derived to asymptotically characterize the performance of MAMP. Based on the state evolution, the relaxation parameters and damping vector in MAMP are optimized. For all right-unitarily-invariant matrices, the optimized MAMP converges to OAMP/VAMP, and thus is Bayes-optimal if it has a unique fixed point. Finally, simulations are provided to verify the validity and accuracy of the theoretical results.

연구 동기 및 목표

• AMP가 비i.i.d. 또는 악조건 행렬에서 실패하는 데 기인한 한계를 해결하기 위해.
• OAMP/VAMP가 고비용 선형 MMSE 추정에 의존함에 따라 발생하는 높은 계산 비용을 극복하기 위해.
• 일반적인 오른쪽 유니터리로 불변하는 행렬에 대해 저복잡도 알고리즘으로 베이즈 최적성을 달성하기 위해.
• 엄격한 직교성 조건을 통해 추정 오차의 渐近 정규성을 확보하기 위해.
• 빠르고 안정적인 수렴을 보장하면서 통계적 성질을 유지할 수 있도록 이완 파라미터와 덤프링을 최적화하기 위해.

제안 방법

• 표준 매칭 필터를 장기 메모리 매칭 필터로 대체함으로써 간섭을 억제하는 메모리 AMP(MAMP)를 제안한다.
• 현재 출력 추정 오차가 모든 이전 입력 추정 오차와 직교하도록 하는 엄격한 직교성 조건을 구현함으로써 오차의 渐近 정규성을 보장한다.
• MAMP의 성능를 분석적으로 특성화하고 파라미터 최적화를 안내하기 위해 공분산 행렬 상태 진화를 유도한다.
• 수렴 속도를 향상시키면서도 직교성과 정규성을 유지하기 위해 이완 파라미터와 덤프링 벡터를 도입한다.
• 상태 진화를 활용하여 MAMP가 고유한 固定点에 수렴할 경우 OAMP/VAMP 성능에 도달하도록 파라미터를 최적화한다.
• 통계적 성질을 정확하게 유지하기 위해 직교 출력에 덤프링 전략을 적용한다.

실험 결과

연구 질문

• RQ1 고비용 LMMSE 추정이 필요 없이 일반적인 오른쪽 유니터리로 불변하는 행렬에 대해 저복잡도 메시지 패싱 알고리즘이 베이즈 최적성을 달성할 수 있는가?
• RQ2 메모리와 직교화를 어떻게 조합하여 반복 알고리즘에서 추정 오차의 渐近 정규성을 유지할 수 있는가?
• RQ3 이완 및 덤프링을 포함한 어떤 파라미터 튜닝 전략이 메모리 기반 AMP에서 안정적이고 빠른 수렴을 보장하는가?
• RQ4 MAMP의 상태 진화가 다양한 행렬 조건 수치에서 그 실제 성능을 정확하게 예측하는가?
• RQ5 특히 악조건 행렬에서 MAMP는 CAMP와 OAMP/VAMP에 비해 수렴 속도와 정확도에서 어떻게 비교되는가?

주요 결과

• MAMP가 고유한 고정점을 수렴할 경우, 모든 오른쪽 유니터리로 불변하는 행렬에 대해 베이즈 최적성을 달성하며, 이는 OAMP/VAMP 성능과 일치한다.
• MAMP의 상태 진화는 다양한 행렬 조건 수치, 특히 κ=100에서도 그 평균 제곱 오차(MSE) 성능을 정확하게 예측한다.
• 최적화된 이완 파라미터와 덤프링 길이 L=3를 사용할 경우, MAMP는 CAMP보다 더 빠르게 수렴하고 OAMP/VAMP 성능을 달성한다.
• 직교 출력에 적용된 덤프링은 추정 오차의 渐近 정규성을 유지하지만, CAMP와 달리 사후 출력에 덤프링을 적용할 경우 이 성질이 깨진다.
• 악조건 행렬(κ=100)에서 MAMP는 안정적으로 수렴하지만, κ>15일 경우 CAMP는 발산한다.
• MAMP의 MSE는 덤프링 길이 L≥3일 경우 거의 동일하므로, L=3이 최적의 수렴 속도와 안정성에 충분함을 시사한다.