[논문 리뷰] Approximate Message Passing with Consistent Parameter Estimation and Applications to Sparse Learning

Ulugbek S. Kamilov, Sundeep Rangan외 2명|arXiv (Cornell University)|2012. 07. 17.

Blind Source Separation Techniques참고 문헌 33인용 수 14

한 줄 요약

이 논문은 선형-비선형 모델에서 희소 신호와 알려지지 않은 파라미터를 함께 추정하는 계산적으로 효율적인 알고리즘인 적응형 일반화된 근사 메시지 전달(Adaptive GAMP)을 소개한다. 상태 진동을 통한 점근적 일致성 증명을 통해 비정규 분포 및 비선형 모델 조건에서도 오라클 방법과 동일한 성능을 보장한다.

ABSTRACT

We consider the estimation of an i.i.d. (possibly non-Gaussian) vector $\xbf \in \R^n$ from measurements $\ybf \in \R^m$ obtained by a general cascade model consisting of a known linear transform followed by a probabilistic componentwise (possibly nonlinear) measurement channel. A novel method, called adaptive generalized approximate message passing (Adaptive GAMP), that enables joint learning of the statistics of the prior and measurement channel along with estimation of the unknown vector $\xbf$ is presented. The proposed algorithm is a generalization of a recently-developed EM-GAMP that uses expectation-maximization (EM) iterations where the posteriors in the E-steps are computed via approximate message passing. The methodology can be applied to a large class of learning problems including the learning of sparse priors in compressed sensing or identification of linear-nonlinear cascade models in dynamical systems and neural spiking processes. We prove that for large i.i.d. Gaussian transform matrices the asymptotic componentwise behavior of the adaptive GAMP algorithm is predicted by a simple set of scalar state evolution equations. In addition, we show that when a certain maximum-likelihood estimation can be performed in each step, the adaptive GAMP method can yield asymptotically consistent parameter estimates, which implies that the algorithm achieves a reconstruction quality equivalent to the oracle algorithm that knows the correct parameter values. Remarkably, this result applies to essentially arbitrary parametrizations of the unknown distributions, including ones that are nonlinear and non-Gaussian. The adaptive GAMP methodology thus provides a systematic, general and computationally efficient method applicable to a large range of complex linear-nonlinear models with provable guarantees.

연구 동기 및 목표

• 사전 분포 및 노이즈 분포가 완전히 알려져 있지 않은 선형-비선형 모델에서 희소 신호와 알려지지 않은 파라미터를 공동으로 추정하는 문제에 대응한다.
• 압축 측정 및 신경 자극 반응 모델링과 같은 다양한 문제에 적용 가능한 일반적이고 계산적으로 효율적인 방법을 개발한다.
• 대규모 i.i.d. 가우시안 변환 하에서 파라미터 추정의 일관성에 대한 이론적 보장을 제공한다.
• 최대우도 기반 파라미터 적응을 메시지 전달 프레임워크에 통합하여 기존의 EM-GAMP 접근법을 통합하고 일반화한다.
• 스칼라 상태 진동 방정식을 사용한 엄밀한 점근적 분석을 통해 알고리즘의 행동을 예측한다.

제안 방법

• 메시지 전달 프레임워크에 기반한 일반화된 GAMP의 확장으로, 공동 파라미터 및 신호 추정을 위한 기대치-최대화(EM)와 근사 메시지 전달을 통합한 Adaptive GAMP를 제안한다.
• 최대우도 원칙을 사용하여 사전 및 측정 채널의 알려지지 않은 파라미터 $ \theta_x $ 및 $ \theta_z $ 를 추정하기 위해 반복적 적응 함수 $ H_x^t $ 및 $ H_z^t $ 를 사용한다.
• 대규모 i.i.d. 가우시안 전환 행렬 하에서 알고리즘의 점근적 성분별 행동을 기술하기 위해 스칼라 상태 진동(SE) 방정식을 유도한다.
• 우도 함수에 대한 온건한 정규성 조건 하에서 적응 함수가 진정한 파라미터로 수렴함을 증명하여 파라미터 추정의 일관성을 확보한다.
• 가짜-립시츠 연속성 및 컴acts 조건을 적용하여 대규모 시스템 한계에서 파라미터 추정이 진값으로 수렴함을 입증한다.
• 상태 진동의 구조를 활용하여 알고리즘이 진정한 파라미터를 알고 있는 오라클과 동일한 성능을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 메시지 전달 알고리즘이 비정규 및 비선형 모델에서 희소 신호와 알려지지 않은 파라미터를 함께 추정하면서도 증명 가능한 일관성을 확보할 수 있는가?
• RQ2 제안된 Adaptive GAMP 방법이 진정한 파라미터를 모두 알고 있는 오라클 알고리즘과 점근적으로 동일한 성능을 달성하는가?
• RQ3 상태 진동 프레임워크는 AMP 유사 알고리즘에서 적응형 파라미터 추정을 분석하기 위해 확장될 수 있는가?
• RQ4 GAMP에서의 적응형 파라미터 추정이 진정한 파라미터 값으로 수렴하는 조건은 무엇인가?
• RQ5 비정규 및 비선형 측정 모델 조건에서 알고리즘의 성능는 어떠한가?

주요 결과

• Adaptive GAMP는 온건한 정규성 조건 하에서 사전 및 측정 채널 파라미터에 대해 점근적으로 일관된 추정을 달성한다.
• Adaptive GAMP의 점근적 성분별 행동은 스칼라 상태 진동 방정식의 집합으로 정확히 기술되며, 기존의 클래스적 AMP 분석을 적응형 설정으로 확장한다.
• 적응 함수가 각 반복 단계에서 최대우도 추정을 수행할 경우, 알고리즘이 진정한 파라미터를 알고 있는 오라클과 동일한 성능을 달성한다.
• 이론적 일관성 결과는 비선형 및 비정규 모델을 포함한 임의의 분포 매개수화에 대해 성립한다.
• 대규모 시스템 한계에서 최대우도 해의 연속성 및 유일성에 기반하여 파라미터 추정이 진값으로 수렴함을 증명한다.
• 기존의 EM-GAMP 접근법을 일반화하며, 증명 가능 보장을 제공하는 희소 선형 모델에서의 학습을 위한 통합 프레임워크를 제공한다.