[논문 리뷰] An equivalence between high dimensional Bayes optimal inference and M-estimation

Madhu Advani, Surya Ganguli|arXiv (Cornell University)|2016. 09. 22.

Distributed Sensor Networks and Detection Algorithms참고 문헌 18인용 수 5

한 줄 요약

이 논문은 고차원 베이즈 최적의 평균 제곱 오차(MMSE) 추론과 새로운 M-추정 방법 사이의 등가성을 확립하며, 비선형적으로 스무딩된 손실 함수와 정규화 함수를 사용하는 볼록 최적화를 통해 최적의 MMSE 성능을 渐近적으로 달성할 수 있음을 보여준다. 주요 기여는 로그-볼록 신호 및 노이즈 분포 하에서 계산적으로 실현 가능한 M-추정 프레임워크로 계산이 불가능한 베이지안 통합을 대체할 수 있는 구축 가능한 방법을 제시하는 것이다.

ABSTRACT

When recovering an unknown signal from noisy measurements, the computational difficulty of performing optimal Bayesian MMSE (minimum mean squared error) inference often necessitates the use of maximum a posteriori (MAP) inference, a special case of regularized M-estimation, as a surrogate. However, MAP is suboptimal in high dimensions, when the number of unknown signal components is similar to the number of measurements. In this work we demonstrate, when the signal distribution and the likelihood function associated with the noise are both log-concave, that optimal MMSE performance is asymptotically achievable via another M-estimation procedure. This procedure involves minimizing convex loss and regularizer functions that are nonlinearly smoothed versions of the widely applied MAP optimization problem. Our findings provide a new heuristic derivation and interpretation for recent optimal M-estimators found in the setting of linear measurements and additive noise, and further extend these results to nonlinear measurements with non-additive noise. We numerically demonstrate superior performance of our optimal M-estimators relative to MAP. Overall, at the heart of our work is the revelation of a remarkable equivalence between two seemingly very different computational problems: namely that of high dimensional Bayesian integration underlying MMSE inference, and high dimensional convex optimization underlying M-estimation. In essence we show that the former difficult integral may be computed by solving the latter, simpler optimization problem.

연구 동기 및 목표

• 고차원 베이지안 MMSE 추론의 계산 불가능성 문제를 다루기 위해, 고차원 적분으로 인해 일반적으로 실현 불가능한 문제를 해결한다.
• 측정 수가 신호 성분의 수와 유사한 고차원 환경에서 MAP 추정의 비최적성 문제를 해결한다.
• 로그-볼록 신호 및 노이즈 분포 하에서 渐近적으로 최적 성능을 달성하는 계산 효율적인 MMSE 추론의 대안을 개발한다.
• 선형 및 가감성 노이즈 모델을 초월해 비선형 측정 및 비가감성 노이즈로의 등가성 확장을 시도한다.
• 제안된 M-추정 프레임워크의 최적성에 대한 히우리스틱적 및 수치적 근거를 제공한다.

제안 방법

• Moreau 및 가우시안 스무딩을 사용하여 표준 MAP 최적화의 비선형적으로 스무딩된 버전인 손실 및 정규화 함수를 사용하는 새로운 M-추정 프레임워크를 제안한다.
• 고차원에서 사후 평균과 渐近적으로 일치하는 볼록 최적화 문제의 해로서 최적의 M-추정자를 유도한다.
• 근사 메시지 전파(AMP) 동역학 및 상태 진화(SE)를 사용하여 제안된 추정자의 성능를 분석하고 검증한다.
• 복제 방법 및 통계역학 히우리스틱을 활용하여 밀도가 높고 i.i.d. 가우시안 측정 설정에서 상태 진화 방정식의 정확성을 정당화한다.
• 일반화된 AMP(gAMP) 프레임워크를 적용하여 최적의 M-추정자의 성능를 MAP와 대비해 시뮬레이션하고 검증한다.
• 수치 실험을 통해 최적의 M-추정자가 특히 측정 밀도가 낮을 때 MAP보다 뛰어난 성능을 보임을 입증한다.

실험 결과

연구 질문

• RQ1 고차원 베이즈 최적 MMSE 추론은 볼록 M-추정 절차를 통해 渐近적으로 달성될 수 있는가?
• RQ2 신호 및 노이즈 분포가 로그-볼록일 경우 최적의 손실 및 정규화 함수는 어떤 형태를 가질 수 있는가?
• RQ3 유한한 측정 밀도를 가진 고차원 설정에서 제안된 M-추정자의 성능는 MAP와 어떻게 비교되는가?
• RQ4 MMSE 추론과 M-추정 간의 등가성은 선형 및 가감성 노이즈 모델을 초월해 확장될 수 있는가?
• RQ5 고차원 추정에서 최적 성능를 달성하는 데 있어 스무딩(Moreau 및 가우시안)의 역할은 무엇인가?

주요 결과

• 제안된 M-추정 프레임워크는 신호 및 노이즈 분포가 로그-볼록일 경우 고차원 설정에서 渐近적으로 최적의 MMSE 성능를 달성한다.
• 최적의 M-추정자는 MAP 목표 함수의 비선형적으로 스무딩된 볼록 손실 및 정규화 함수를 사용하며, 이는 계산 가능성을 보장한다.
• 수치 실험을 통해 최적의 M-추정자가 특히 측정 밀도가 낮을 때 평균 제곱 오차 측면에서 MAP보다 뚜렷이 뛰어난 성능를 보인다.
• M-추정자의 성능는 상태 진화(SE) 분석을 통해 정확하게 예측되며, 이는 밀도가 높고 i.i.d. 가우시안 측정 설정에서 정확하다고 여겨진다.
• 일반화된 AMP 알고리즘의 시간 복잡도는 신호 차원과 측정 수 모두에 대해 선형적으로 증가하므로 대규모 문제에 적합하다.
• 이 방법은 가감성 노이즈와 선형 모델을 초월해 비선형 측정 및 비가감성 노이즈로도 일반화되며, 동일한 이론적 프레임워크 내에서 적용 가능하다.