[論文レビュー] Universal Boosting Variational Inference

Trevor Campbell, Xinglong Li|arXiv (Cornell University)|Jun 4, 2019

Statistical Methods and Inference参考文献 55被引用数 11

ひとこと要約

本稿では、ハレインジャー距離を用いることで、頑健でスケーラブルかつ普遍的に収束する事後分布近似を可能にする、新たな変分推論手法であるUniversal Boosting Variational Inference（UBVI）を提案する。ハレインジャー距離に基づく確率密度関数の単位球面幾何を活用することで、UBVIは成分最適化における退化を回避し、手動の正則化の必要性を排除するとともに、モデルの不適合が生じても混合族内での最良の近似への収束を保証する。

ABSTRACT

Boosting variational inference (BVI) approximates an intractable probability density by iteratively building up a mixture of simple component distributions one at a time, using techniques from sparse convex optimization to provide both computational scalability and approximation error guarantees. But the guarantees have strong conditions that do not often hold in practice, resulting in degenerate component optimization problems; and we show that the ad-hoc regularization used to prevent degeneracy in practice can cause BVI to fail in unintuitive ways. We thus develop universal boosting variational inference (UBVI), a BVI scheme that exploits the simple geometry of probability densities under the Hellinger metric to prevent the degeneracy of other gradient-based BVI methods, avoid difficult joint optimizations of both component and weight, and simplify fully-corrective weight optimizations. We show that for any target density and any mixture component family, the output of UBVI converges to the best possible approximation in the mixture family, even when the mixture family is misspecified. We develop a scalable implementation based on exponential family mixture components and standard stochastic optimization techniques. Finally, we discuss statistical benefits of the Hellinger distance as a variational objective through bounds on posterior probability, moment, and importance sampling errors. Experiments on multiple datasets and models show that UBVI provides reliable, accurate posterior approximations.

研究の動機と目的

• 標準的な変分推論における根本的限界、すなわち変分族が真の事後分布を含まないことが原因で近似品質が著しく低下することを是正する。
• Kullback-Leibler発散の非滑らかさと手動の正則化に依存するため生じる、既存のブースティング変分推論（BVI）手法における退化問題を克服する。
• 理論的根拠に基づき、スケーラブルかつ普遍的に収束する変分推論フレームワークを構築し、モデルの不適合が生じても混合族内での最良の近似への収束を保証する。
• Hilbert空間におけるハレインジャー距離の幾何的性質を活用することで、BVIの原理的代替手段を提供する。
• 指数分布族の成分と確率的最適化を用いた実装を可能にし、大規模なベイズモデルにおける計算スケーラビリティを確保する。

提案手法

• 変分推論をハレインジャー距離を発散測度として定式化し、確率密度関数のHilbert空間における単位球面幾何を誘導する。
• ハレインジャー幾何における勾配ベース最適化を用い、反復的に混合成分を追加・再重み付けすることで、成分と重みの同時最適化を回避する。
• ハレインジャー距離が完全に修正可能な重み更新を単純化し、目的密度の正規化定数を事前に知る必要がないことを活用する。
• ハレインジャー空間における測地線更新に基づく再帰的更新ルールを構築し、誤差の単調減少を保証するとともに、混合族内での最良の近似への収束を実現する。
• 大規模データセットにおけるスケーラビリティを確保するため、指数分布族の成分と確率的最適化技術を用いて手法を実装する。
• 一般条件下でも収束を保証するため、Hilbert空間射影と錐幾何に基づく新規な理論枠組みを導入する。これは混合族が不適合であっても有効である。

実験結果

リサーチクエスチョン

• RQ1 モデルの不適合が生じても、与えられた混合族内での最良の近似に普遍的に収束するブースティング変分推論手法を設計可能か？
• RQ2 Kullback-Leibler発散の代わりにハレインジャー距離を用いることで、成分最適化における退化を解消し、手動の正則化の必要性を排除できるか？
• RQ3 ハレインジャー空間の幾何的構造を活用することで、重み最適化を単純化し、成分と重みの同時更新を回避できるか？
• RQ4 ハレインジャー距離を変分目的関数として用いることで、事後確率、モーメント、重要度サンプリング誤差のバインドにどのような統計的利点が得られるか？
• RQ5 実際の応用において、UBVIは既存のBVIおよびVI手法と比較して、多様なモデルとデータセットにおいて、精度、信頼性、スケーラビリティの面で優れているか？

主な発見

• UBVIは、混合族が不適合であっても、いかなる目的密度に対しても混合族内での最良の近似への収束を保証する。
• ハレインジャー距離の滑らかで単位球面的な幾何を活用することで、成分最適化における退化を回避し、手動の正則化の必要性を排除する。
• 再帰的誤差低減バインドを用いて収束を証明し、誤差が単調に減少することを保証する。誤差は反復回数 $ n $ に対して $ O(1/n) $ のレートで減少する。
• ハレインジャー距離を変分目的関数として用いることで、事後確率、モーメント、重要度サンプリング誤差のバインドが厳しくなる。これにより統計的信頼性が向上する。
• 多数のデータセットとモデルにおける実験から、UBVIが既存のBVIおよびVI手法よりもより正確で信頼性の高い事後分布近似を提供することが示された。
• 指数分布族の成分と確率的最適化を用いたスケーラブルな実装により、理論的保証を失うことなく大規模なベイズモデルにおける効率的な学習が可能となった。