[論文レビュー] Boosting Variational Inference: an Optimization Perspective

Francesco Locatello, Rajiv Khanna+2 more|arXiv (Cornell University)|Aug 5, 2017

Bayesian Methods and Mixture Models参考文献 18被引用数 7

ひとこと要約

この論文は、ブースティング変分推論の明示的収束解析を初めて提供し、フランク＝ウォルフ法と関連付けることで、特定の条件下で部分線形収束率 O(1/T) および線形収束率 O(e^(-T)) を証明している。内側の非凸問題の正確な解法は不要であることが示され、混合分布に基づく事後分布近似に対して、理論的保証を伴う効率的かつグローバルに収束するアルゴリズムが可能になる。

ABSTRACT

Variational inference is a popular technique to approximate a possibly intractable Bayesian posterior with a more tractable one. Recently, boosting variational inference has been proposed as a new paradigm to approximate the posterior by a mixture of densities by greedily adding components to the mixture. However, as is the case with many other variational inference algorithms, its theoretical properties have not been studied. In the present work, we study the convergence properties of this approach from a modern optimization viewpoint by establishing connections to the classic Frank-Wolfe algorithm. Our analyses yields novel theoretical insights regarding the sufficient conditions for convergence, explicit rates, and algorithmic simplifications. Since a lot of focus in previous works for variational inference has been on tractability, our work is especially important as a much needed attempt to bridge the gap between probabilistic models and their corresponding theoretical properties.

研究の動機と目的

• ブースティング変分推論における理論的ギャップを埋めること。これは、強力な経験的性能にもかかわらず収束解析が欠落している。
• 貪欲な変分推論アルゴリズムのグローバル収束の十分条件を確立すること。
• 定数を伴う明示的収束率を導出することにより、O(1/T) の予想的収束率を超えること。
• 理論的保証を維持したまま、アルゴリズムの簡素化されたバージョンを開発すること。
• 線形収束 O(e^(-T)) が、緩い条件下でも達成可能であることを示すこと。これは収束速度を顕著に向上させる。

提案手法

• 論文は、ブースティング変分推論の理論的基盤として、関数的フランク＝ウォルフ法の変種を確立している。
• 混合密度の凸集合上での制約付き最小化問題として、成分の貪欲な追加の収束をフレームワーク化している。
• 線分探索、固定ステップサイズ、および完全補正ステップを用いて混合重みを最適化しており、後者は線形収束を可能にする。
• 理論的分析は、KL発散の滑らかさおよび曲率の仮定に依存しており、分布の性質から明示的な境界が導出されている。
• 著者らは、各ステップですべての混合重みを再最適化する「ノルム補正型」変種（アルゴリズム3）を導入し、わずかに高いコストで線形収束を保証している。
• このフレームワークは、ChemReactデータセットにおけるベイジアンロジスティック回帰に適用され、異なる重み最適化戦略の比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 ブースティング変分推論のグローバル収束の十分条件は何か？
• RQ2 ブースティング変分推論アルゴリズムの明示的収束率（定数を含む）は導出可能か？
• RQ3 線形収束 O(e^(-T)) は達成可能か？ その条件は何か？
• RQ4 内側の非凸最適化ステップは、収束保証を損なわずに近似可能か？
• RQ5 線分探索、固定ステップ、完全補正の各重み更新戦略は、理論的および実用的観点でどのように比較されるか？

主な発見

• 論文は、滑らかさの仮定が弱い条件下でも、ブースティング変分推論がグローバルに収束することを証明し、分布の滑らかさから導かれる定数を伴う明示的 O(1/T) 収束率を示している。
• 真の事後分布が族の相対的内部にある場合、線形収束 O(e^(-T)) が達成され、部分線形収束率を著しく上回る。
• 内側の非凸問題は正確に解く必要がなく、近似解でも収束保証を維持できることが示された。
• 完全補正型フランク＝ウォルフ変種（アルゴリズム3）は線形収束を達成するが、反復ごとの計算コストがやや高い。
• ChemReactデータセットでは、ブースティングによる混合ガウス分布が、平均場変分推論よりもトレーニング尤度およびテストAUCの両方で優れた性能を示した。
• 理論的分析により、正則化（例：共分散行列の対数行列式）が集合の有界直径を保証し、相対的内部条件のもとで線形収束を可能にすることが確認された。