[논문 리뷰] Fast Convergent Algorithms for Expectation Propagation Approximate Bayesian Inference

Matthias Seeger, Hannes Nickisch|arXiv (Cornell University)|2010. 12. 16.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 23

한 줄 요약

이 논문은 연속 그래픽 모델에서의 기대값 전파(EP) 근사 베이지안 추론을 위한 새로운, 증명 가능하게 수렴하는 알고리즘을 제안한다. 수렴하는 双중 루프 최적화와 공분산 분리 기법을 융합함으로써, 표준 EP보다 최소한 한 계단 빠른 속도 향상을 달성하면서도 정적점으로의 수렴을 보장하여, 이미지 흐림 제거 및 복원과 같은 복잡한 모델에서 더 빠르고 신뢰할 수 있는 추론을 가능하게 한다.

ABSTRACT

We propose a novel algorithm to solve the expectation propagation relaxation of Bayesian inference for continuous-variable graphical models. In contrast to most previous algorithms, our method is provably convergent. By marrying convergent EP ideas from (Opper&Winther 05) with covariance decoupling techniques (Wipf&Nagarajan 08, Nickisch&Seeger 09), it runs at least an order of magnitude faster than the most commonly used EP solver.

연구 동기 및 목표

• 연속 변수 그래픽 모델에 대한 표준 순차적 기대값 전파(EP) 알고리즘에서 수렴 보장의 부재를 해결한다.
• 라플라스 희소성 사전 또는 이진 분류 가능도와 같은 비정규 사전을 가진 베이지안 모델에 대해 확장 가능하고 신뢰할 수 있는 추론 방법을 개발한다.
• 정확도나 수렴 성질을 희생시키지 않고 기존 EP 솔버보다 상당한 속도 향상을 달성한다.
• EP를 공분산 분리 기법을 통해 효율적인 점 추정 알고리즘을 적용할 수 있는 변분 최적화 문제로 통합함으로써 근사 베이지안 추론에 응용 가능하게 한다.
• 이미지 흐림 제거, MRI 복원, 활성 학습과 같은 고차원 문제에서 근사 베이지안 추론의 실용적 구현을 가능하게 한다.

제안 방법

• 보조 변수 $ \bm{z} $ 와 $ \bm{u}_* $ 를 포함한 이중 형태를 사용하여 EP를 오목-볼록 최적화 문제로 재구성함으로써 강한 이중성과 수렴 보장을 확보한다.
• 외부 루프는 $ \bm{\theta} = (\bm{\theta}_{-}, \tilde{\bm{\theta}}) $ 에 대해 최적화하고, 내부 루프는 이중성에 기반한 볼록-오목 하위문제를 해결하는 이중 루프 알고리즘을 도입한다.
• 표준 EP에서 분산 계산을 $ \bm{z} $ 에 대한 직접 갱신으로 대체함으로써, $ \mathrm{Var}_Q[\bm{s}|\bm{y}] $ 를 계산할 필요 없이 수렴 속도를 향상시킨다.
• 최적화 과정에서 볼록성과 안정성을 보장하기 위해 오목 이중 함수 $ g^*(\bm{z}) = \inf_{\bm{\pi}} \bm{z}^T\bm{\pi} - \log|\bm{A}(\bm{\pi})| $ 를 활용한다.
• 참고 문헌 [12]의 수렴하는 이중 루프 알고리즘의 수정된 버전을 사용하며, 수치적 불안정성을 방지하고 속도를 향상시키기 위해 공분산 분리 기법을 통합한다.
• 강한 이중성과 영이 아닌 반사 방향의 부재를 증명함으로써, 미묘한 조건(예: $ \bm{\pi} \succ \bm{0} $, $ \bm{A}(\bm{\pi}) $ 는 정의된 양의 정부호) 하에서 알고리즘이 정적점으로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 연속 변수 그래픽 모델에서의 기대값 전파에 대해 증명 가능하게 수렴하는 알고리즘을 설계할 수 있는가? 이는 표준 순차적 EP에서 수렴 보장의 부재를 극복할 수 있는가?
• RQ2 수렴 보장이 되는 EP 프레임워크와 공분산 분리 기법을 어떻게 융합하여 계산 효율성을 향상시킬 수 있는가?
• RQ3 실세계 추론 작업에서 제안된 방법이 표준 EP 대비 속도와 수치적 안정성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 보조 변수 $ \bm{z} $ 와 $ \bm{u}_* $ 를 포함한 이중 형태를 사용함으로써 정확도 손실 없이 수렴 속도를 높일 수 있는가?
• RQ5 이 알고리즘이 이미지 흐림 제거 및 복원과 같은 고차원 문제에 대해 수렴성과 정확도를 유지하면서 확장 가능한가?

주요 결과

• 제안된 알고리즘은 표준 순차적 EP가 그러한 보장을 갖지 못하는 것과는 달리, EP 목표 함수의 정적점으로 증명 가능하게 수렴한다.
• 분산 계산을 제거하고 효율적인 이중 최적화를 수행함으로써, 가장 널리 사용되는 EP 솔버보다 최소한 한 계단 빠른 속도를 달성한다.
• 강한 이중성을 가진 볼록-오목 최적화 문제를 해결함으로써 알고리즘이 수렴함을 보장하며, 이는 강건성과 안정성을 확보한다.
• $ g^*(\bm{z}) $ 와 $ \mathrm{Var}_Q[\bm{s}|\bm{y}] $ 가 아닌 $ \bm{z} $ 에 대한 직접 갱신을 통해 계산 오버헤드를 크게 감소시킨다.
• 이미지 흐림 제거 및 복원에 대한 실험 결과, 제안된 방법은 표준 EP보다 더 높은 정확도를 달성하면서도 더 빠른 수렴 속도와 더 나은 수치적 행동을 보였다.
• 이 알고리즘은 라플라스 사전, 이진 분류 가능도 등 비정규 사전을 가진 모델로 일반화 가능하며, $ \log Z(\bm{f}) $ 최적화를 통한 초모수 학습도 지원한다.