[論文レビュー] Perturbative Corrections for Approximate Inference in Gaussian Latent Variable Models

Manfred Opper, Ulrich Paquet+1 more|arXiv (Cornell University)|Jan 12, 2013

Gaussian Processes and Bayesian Inference参考文献 25被引用数 11

ひとこと要約

この論文は、期待値伝搬（EP）を用いたガウス型潜在変数モデルにおける近似推論の改善のための摂動補正フレームワークを導入する。EPが無視する高次モーメントの補正項を、無視された高次モーメントの累積量のべき級数に展開することで、任意の多項式次数まで系的にEPの近似を補正する。2次補正は2次時間で計算可能であり、近似誤差の多項式時間評価が可能となる。

ABSTRACT

Expectation Propagation (EP) provides a framework for approximate inference. When the model under consideration is over a latent Gaussian field, with the approximation being Gaussian, we show how these approximations can systematically be corrected. A perturbative expansion is made of the exact but intractable correction, and can be applied to the model's partition function and other moments of interest. The correction is expressed over the higher-order cumulants which are neglected by EP's local matching of moments. Through the expansion, we see that EP is correct to first order. By considering higher orders, corrections of increasing polynomial complexity can be applied to the approximation. The second order provides a correction in quadratic time, which we apply to an array of Gaussian process and Ising models. The corrections generalize to arbitrarily complex approximating families, which we illustrate on tree-structured Ising model approximations. Furthermore, they provide a polynomial-time assessment of the approximation error. We also provide both theoretical and practical insights on the exactness of the EP solution.

研究の動機と目的

• 潜在ガウス型モデルにおける複雑な後刻分布を近似する際、ガウス分布族を用いた期待値伝搬（EP）における固有の近似誤差を是正すること。
• 標準的なモーメントマッチング手順で無視される高次モーメントを考慮することで、EPの近似を体系的かつ摂動的に補正するフレームワークを構築すること。
• 高次補正を通じてEP近似の品質を多項式時間で評価できるようにすること。
• 木構造型や複雑なモデルを含む任意の近似分布族への補正法の一般化すること。
• 摂動展開を用いたEP解の正確性と収束性に関する理論的・実験的知見を提供すること。

提案手法

• EPにおける扱いが困難な補正項を、局所的モーメントマッチング中に無視された高次モーメントの関数として形式化する。
• 高次モーメントをEP解に対する小さな補正とみなして、正確な補正に摂動展開を適用する。
• 中心化されたガウス測度下での多項式モーメントを評価するためにウィックの定理を用い、補正項の解析的計算を可能にする。
• 補正を累積量のべき級数として表現し、各次数がより複雑な多項式補正に対応するようにする。
• ガウス過程およびイジングモデルにおいて2次補正の明示的公式を導出し、2次時間で計算可能であることを示す。
• 再帰的累積量伝播を用いて、木構造型イジングモデルを含む任意の近似分布族への補正を一般化する。

実験結果

リサーチクエスチョン

• RQ1 潜在ガウス型モデルにおいて、非ガウス的後刻分布をガウス分布族で近似する際、EPにおける近似誤差をどのように体系的に是正できるか？
• RQ2 EPにおける扱いが困難な補正項の構造は何か？ また、高次モーメントを用いた摂動級数展開によってどのように展開できるか？
• RQ3 2次摂動補正は、ガウス過程分類および回帰モデルにおけるEPの精度をどの程度向上させるか？ また、その計算複雑度はいかなるものか？
• RQ4 摂動補正フレームワークは、木構造型モデルを含む任意の近似分布族に一般化可能か？ また、近似誤差をどのように評価するか？
• RQ5 摂動展開の収束半径は何か？ また、その値は補正の有効性と安定性とどのように関係するか？

主な発見

• EPは摂動展開の1次まで正確であり、EP固定点において1次補正項は消える。
• 2次補正は2次時間で計算可能であり、ガウス過程分類および回帰モデルにおけるEPの精度を顕著に向上させる。
• 摂動補正により近似誤差の多項式時間評価が可能となり、低次の項が大きい場合には誤差診断が可能になる。
• 再帰的高次モーメント計算により、木構造型イジングモデルを含む任意の近似分布族への一般化が可能である。
• ガウス過程分類におけるプロビットリンク関数に関して、尤度の3次および4次累積量を解析的に導出し、高次補正が可能になる。
• データ量が増加する反例においてEPは発散するが、摂動補正フレームワークにより不安定性が明らかになり、高次項を用いて誤差の増大度が定量的に評価される。