[논문 리뷰] Rigorous Dynamics and Consistent Estimation in Arbitrarily Conditioned Linear Systems

Alyson K. Fletcher, Mojtaba Sahraee-Ardakan외 2명|arXiv (Cornell University)|2017. 06. 19.

Blind Source Separation Techniques인용 수 8

한 줄 요약

이 논문은 임의로 악조건화된 측정 행렬을 가진 고차원 선형 역문제에서 일致하고 증명 가능한 최적 추정을 위한 자동 튜닝 기능을 갖춘 적응형 벡터 근사 메시지 전달(Adaptive VAMP)을 제안한다. 일반적인 오른쪽 회전 대칭 행렬에 대해 엄밀한 상태 진화와 점근적 일致성을 확립하며, 매개변수들이 진짜 값으로 수렴할 경우 베이즈 최적 성능을 달성한다.

ABSTRACT

The problem of estimating a random vector x from noisy linear measurements y = A x + w with unknown parameters on the distributions of x and w, which must also be learned, arises in a wide range of statistical learning and linear inverse problems. We show that a computationally simple iterative message-passing algorithm can provably obtain asymptotically consistent estimates in a certain high-dimensional large-system limit (LSL) under very general parameterizations. Previous message passing techniques have required i.i.d. sub-Gaussian A matrices and often fail when the matrix is ill-conditioned. The proposed algorithm, called adaptive vector approximate message passing (Adaptive VAMP) with auto-tuning, applies to all right-rotationally random A. Importantly, this class includes matrices with arbitrarily poor conditioning. We show that the parameter estimates and mean squared error (MSE) of x in each iteration converge to deterministic limits that can be precisely predicted by a simple set of state evolution (SE) equations. In addition, a simple testable condition is provided in which the MSE matches the Bayes-optimal value predicted by the replica method. The paper thus provides a computationally simple method with provable guarantees of optimality and consistency over a large class of linear inverse problems.

연구 동기 및 목표

• 표준 AMP가 실패하는 악조건화된 선형 시스템에서 메시지 전달 알고리즘의 이론적 보장을 부족하게 하는 문제를 해결한다.
• 모든 오른쪽 회전 대칭 행렬, 특히 조건 수가 매우 높은 경우에도 VAMP 기반 추론의 적용 범위를 확장한다.
• 모르는 매개변수를 EM을 통해 학습할 때 고차원 대규모 시스템 한계(Large-System Limit, LSL)에서 매개변수 추정의 수렴성과 일치성을 증명한다.
• 점근적 평균 제곱 오차(MSE)와 매개변수 추정치를 고정된 예측값으로 정확하게 예측할 수 있는 상태 진화 프레임워크를 구축한다.
• 단순한 검증 가능한 조건 하에서 Adaptive VAMP의 MSE가 복제 방법으로 예측한 베이즈 최적값과 일치함을 입증한다.

제안 방법

• 신호와 모르는 매개변수를 동시 추정하기 위해 벡터 근사 메시지 전달(VAMP)과 기대값 최대화(EM)를 조합한 Adaptive VAMP 알고리즘을 제안한다.
• 현재 상태에 따라 알고리즘의 업데이트 규칙을 적응적으로 조정함으로써 일致한 매개변수 추정을 보장하는 자동 튜닝 절차를 도입한다.
• 대규모 시스템 한계에서 추정치와 MSE의 점근적 행동을 추적하는 확장된 상태 진화(SE) 방정식 세트를 유도한다.
• A에 대해 오른쪽 회전 대칭 행렬 모델을 사용하며, 이는 i.i.d. 서브가우시안 행렬과 임의의 조건 수를 가진 행렬을 포함한다.
• 복제 방법을 적용하여 베이즈 최적 MSE를 예측하고, 이를 SE에 의한 MSE와 비교함으로써 최적성 여부를 평가한다.
• 고조건수 행렬을 사용한 희박 신호 복원 및 이미지 복원 문제에 대한 시뮬레이션을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 임의의 악조건화된 측정 행렬을 가진 고차원 선형 시스템에서 메시지 전달 알고리즘이 증명 가능한 일致성 있는 매개변수 추정을 달성할 수 있는가?
• RQ2 Adaptive VAMP의 상태 진화가 대규모 시스템 한계에서 결정적이고 예측 가능한 극한으로 수렴하는가?
• RQ3 Adaptive VAMP의 평균 제곱 오차(MSE)가 복제 방법으로 예측한 베이즈 최적값과 일치하는 조건은 무엇인가?
• RQ4 진짜 매개변수가 알려지지 않은 상황에서 Adaptive VAMP의 자동 튜닝 메커니즘이 수렴성과 일치성을 어떻게 보장하는가?
• RQ5 사전 모델이 잘못 지정된 경우에도 실제 유한 크기의 실세계 데이터(예: 이미지)에서 이 방법이 안정성과 최적성을 유지할 수 있는가?

주요 결과

• Adaptive VAMP는 식별 가능성 조건과 제안된 자동 튜닝 절차 하에서 대규모 시스템 한계에서 점근적 일치성을 달성한다.
• Adaptive VAMP의 상태 진화 방정식은 평균 제곱 오차와 매개변수 추정치에 대해 결정적이고 해석 가능한 예측을 제공한다.
• 조건 수 κ=100인 희박 신호 복원에서, 자동 튜닝 기능을 갖춘 Adaptive VAMP는 VAMP-오라클(모든 매개변수를 알고 있는 경우)과 유사한 NMSE 성능을 달성하며, EM-BG-AMP와 SPGL1보다 뚜렷이 뛰어나다.
• 조건 수 κ=100인 희박 이미지 복원에서, 자동 튜닝 기능을 갖춘 EM-VAMP는 오라클 수준의 중앙값 NMSE 성능을 달성하며, EM-BG-AMP와 SPGL1보다 약 10배 빠르다.
• 매개변수 추정치가 진짜 값으로 수렴할 경우 Adaptive VAMP의 MSE는 복제 방법으로 예측한 베이즈 최적값과 정확히 일치한다.
• 표준 AMP 방법이 일반적으로 발산하는 경우에도, 이 알고리즘은 극단적인 조건 수를 가진 행렬에서도 안정적이고 효과적으로 작동한다.