[論文レビュー] Fast Dual Variational Inference for Non-Conjugate LGMs

Mohammad Emtiyaz Khan, Aleksandr Y. Aravkin+2 more|arXiv (Cornell University)|Jun 5, 2013

Gaussian Processes and Bayesian Inference被引用数 3

ひとこと要約

この論文は、非共役の潜在ガウス過程モデル（LGM）における高速なデュアル変分ベイズ推論手法を提案する。変分ベイズ推論問題を、O(N)パラメータしか持たない凸双対最適化問題に再定式化することで、従来手法よりも著しく高速な収束を実現しながらも、精度を保持する。本手法はFenchel共役とデュアル分解を活用し、ガウス過程分類や潜在ガウスマルコフランダムフィールドなど多様なモデルにおいてスケーラブルな推論を実現する。

ABSTRACT

Latent Gaussian models (LGMs) are widely used in statistics and machine learning. Bayesian inference in non-conjugate LGMs is difficult due to intractable integrals involving the Gaussian prior and non-conjugate likelihoods. Algorithms based on variational Gaussian (VG) approximations are widely employed since they strike a favorable balance between accuracy, generality, speed, and ease of use. However, the structure of the optimization problems associated with these approximations remains poorly understood, and standard solvers take too long to converge. We derive a novel dual variational inference approach that exploits the convexity property of the VG approximations. We obtain an algorithm that solves a convex optimization problem, reduces the number of variational parameters, and converges much faster than previous methods. Using real-world data, we demonstrate these advantages on a variety of LGMs, including Gaussian process classification, and latent Gaussian Markov random fields.

研究の動機と目的

• 非ガウス尤度関数を伴う非共役潜在ガウス過程モデル（LGM）では、正確なベイズ推論が不可能であるため、標準的な変分ベイズ推論が遅延する問題に対処する。
• 既存の変分ガウス（VG）近似手法では、計算効率と精度のトレードオフが生じる。具体的には、共分散構造を制限することで精度を損なうか、高次元のパrameter化に起因して収束が遅くなる。
• O(L²)からO(N)に減少した変分パラメータを有しながらも凸性を保ちつつ、一般化可能でスケーラブルな推論手法を開発する。
• Fenchel共役を用いた閉形式解と凸双対性を活用することで、大規模LGMにおける高速かつ信頼性の高い推論を実現する。

提案手法

• 変分ベイズ推論問題を、潜在変数の平均と分散が尤度パラメータと関連づけられる制約をラグランジュ緩和することで、双対最適化問題として定式化する。
• 線形制約 h = Wm および ρ = diag(WVWᵀ) に対して、双対変数 α と λ を導入し、強い双対性を用いて元の非凸問題を凸双対問題に変換する。
• 負の対数尤度項 fₙ(hₙ, ρₙ) のFenchel共役を用いて、原始変数（m*, V*）の閉形式解を双対変数の関数として導出する。これにより、効率的な最適化が可能になる。
• 双対最適化を、観測数Nに比例する2N変数（α, λ）における厳密に凸な問題に簡略化し、O(N)パラメータ化を達成。これにより高速収束が可能になる。
• Fenchel共役 fₙ* の有効定義域を自然なバリア関数として利用し、最適化を単純化するとともに、数値的安定性を確保する。
• 最適な双対変数から原始変分近似（m*, V*）を再構築する。具体的には、m* = μ − ΣWᵀα および V* = (Σ⁻¹ + Wᵀdiag(λ)W)⁻¹ を用いる。

実験結果

リサーチクエスチョン

• RQ1 非共役LGMにおける変分パラメータ数をO(L²)からO(N)に削減することは、凸性や収束速度を損なわずに行えるか？
• RQ2 変分ベイズ推論問題のデュアル分解は、非共役LGMにおいて、標準的なソルバーや座標勾配法と比較してより高速な収束を実現できるか？
• RQ3 提案手法はガウス過程モデルに限定されず、潜在ガウスマルコフランダムフィールドやベイジアン一般化線形モデルなどの他のLGMにも一般化可能か？
• RQ4 尤度関数のFenchel共役が、双対最適化問題を単純化するバリア関数を形成する仕組みは何か？

主な発見

• 提案手法により、潜在次元Lと観測数Nを用いて、最適化変数数をO(L²)からO(N)に削減。これにより、著しく高速な収束が実現される。
• 双対問題は厳密に凸であり、2Nパラメータに限定されるため、標準的な滑らかな最適化手法を用いて高速に収束する。
• 実世界のデータにおいても高速な収束を達成。特に非ガウス尤度設定下では、Khan（2012）の最先端座標勾配法を上回る速度性能を示す。
• 本手法はガウス過程に限定されず、ガウス過程分類、潜在ガウスマルコフランダムフィールド、その他のLGMへも成功裏に適用可能である。
• 代表的な尤度関数（例：ベルヌーイ、ポisson）に対して、負の対数尤度項のFenchel共役 fₙ* が閉形式で得られるため、効率的な双対最適化が可能になる。
• 双対定式化により、ラグランジュ乗数を介した制約の自然な組み込みが可能であり、得られる変分近似は有効かつ正確であることが保証される。