[논문 리뷰] Bounding errors of Expectation-Propagation

Guillaume Dehaene, Simon Barthelmé|arXiv (Cornell University)|2016. 01. 11.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 15

한 줄 요약

이 논문은 기대값 전파(EP)의 근사 오차에 대한 최초의 이론적 경계를 제공하며, 평균에 대해 진짜 사후분포로 수렴하는 속도가 $\mathcal{O}(n^{-2})$임을 보여주며, 이는 표준 기준인 캐논리컬 가우시안 근사(CGA)보다 한 단계 빠릅니다. 분석은 데이터 포인트 수 $n$에 대한 渐近 전개를 활용하여 4차까지의 모멘트 및 초과 쿨백-라이블러 발산에 대한 경계를 도출하며, EP의 뛰어난 수렴 성질을 입증합니다.

ABSTRACT

Expectation Propagation is a very popular algorithm for variational inference, but comes with few theoretical guarantees. In this article, we prove that the approximation errors made by EP can be bounded. Our bounds have an asymptotic interpretation in the number $n$ of datapoints, which allows us to study EP's convergence with respect to the true posterior. In particular, we show that EP converges at a rate of $\mathcal{0}(n^{-2})$ for the mean, up to an order of magnitude faster than the traditional Gaussian approximation at the mode. We also give similar asymptotic expansions for moments of order 2 to 4, as well as excess Kullback-Leibler cost (defined as the additional KL cost incurred by using EP rather than the ideal Gaussian approximation). All these expansions highlight the superior convergence properties of EP. Our approach for deriving those results is likely applicable to many similar approximate inference methods. In addition, we introduce bounds on the moments of log-concave distributions that may be of independent interest.

연구 동기 및 목표

• 기대값 전파(EP)의 변분 추론에서의 근사 오차에 대한 엄밀한 이론적 경계를 제공하는 것.
• 데이터 포인트 수 $n$이 증가함에 따라 EP의 수렴 속도가 진짜 사후분포에 대해 어떻게 되는지 분석하는 것.
• EP의 성능을 변분 추론의 표준 기준인 캐논리컬 가우시안 근사(CGA)와 정량적으로 비교하는 것.
• EP 하에서 2차에서 4차까지의 모멘트 및 초과 쿨백-라이블러 발산에 대한 渐近 전개를 유도하는 것.
• 유사한 근사 추론 방법을 분석하기 위한 일반화 가능한 기법을 제시하는 것 — 주로 渐近 오차 분석을 통한 방식으로.

제안 방법

• 로그 밀도 및 그 도함수의 테일러 전개를 사용하여 대규모 $n$ 근처에서 EP 근사의 渐近 전개를 유도한다.
• 로그-볼록 분포의 모멘트를 유 bounds하기 위해 브라스앰프-라이브 유형 부등식을 적용한다. 이는 분석의 핵심 요소이다.
• EP의 반복적 사이트 근사 업데이트를 활용하여 근사 사후분포의 평균, 분산, 고차 모멘트에 대한 표현식을 도출한다.
• EP의 모멘트 추정치를 $n^{-1}$ 및 $n^{-2}$ 항의 주요 오차 항을 분석하여 CGA의 결과와 비교한다.
• 사이트별 모멘트를 전역 사후분포와 연결하기 위해 하이브리드 근사 전략을 활용하여 오차 전파 분석을 가능하게 한다.
• EP와 CGA의 차이가 주로 누적량 전개의 고차항 보정에서 기인하며, EP는 $\mathcal{O}(n^{-2})$ 항을 포착하는 반면 CGA는 이를 놓친다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 EP의 평균 추정치가 $n \to \infty$일 때 진짜 사후분포 평균으로 수렴하는 渐近 수렴 속도는 무엇인가요?
• RQ2 EP의 근사 오차가 데이터 수 $n$에 대해 CGA의 오차와 정량적으로 비교해보면 어떻게 되나요?
• RQ3 EP가 이상적인 가우시안 근사에 비해 초과 쿨백-라이블러 발산을 얼마나 제한적으로 유지할 수 있을까요? 이에 대한 渐近 경계를 도출할 수 있나요?
• RQ4 EP의 분산, 왜도, 첨도 추정치에서 주요 오차 항은 무엇인가요?
• RQ5 이 방법은 동일한 구조를 가진 다른 변분 추론 알고리즘의 오차를 경계하는 데 일반화될 수 있나요?

주요 결과

• EP의 평균 근사는 진짜 사후분포 평균으로 $\mathcal{O}(n^{-2})$ 속도로 수렴하며, 이는 CGA의 $\mathcal{O}(n^{-1})$ 수렴 속도보다 한 단계 더 빠릅니다.
• EP의 분산 추정치 역시 $\mathcal{O}(n^{-2})$ 속도로 수렴하며, 이는 평균의 수렴 속도와 일치하며 CGA의 $\mathcal{O}(n^{-1})$ 성능을 향상시킵니다.
• 2차에서 4차까지의 모멘트에 대해 EP는 주요 오차 항이 $\mathcal{O}(n^{-2})$인 渐近 전개를 제공하며, 고차 정확도의 일관성을 입증합니다.
• IDEAL 가우시안 근사에 비해 EP의 초과 쿨백-라이블러 발산은 유계이면서 $\mathcal{O}(n^{-2})$ 속도로 수렴하므로 강력한 통계적 충실도를 보입니다.
• EP와 CGA의 차이점은 고차 누적량 보정 항에서 기인하며, EP는 CGA가 놓친 $\mathcal{O}(n^{-2})$ 항을 포착합니다.
• 로그-볼록 분포의 모멘트에 대한 유도된 경계는 별도의 관심사이며, 다른 추론 방법에 응용될 수 있을 가능성도 있습니다.