[論文レビュー] Boosting Black Box Variational Inference

Francesco Locatello, Gideon Dresdner+3 more|arXiv (Cornell University)|Jun 6, 2018

Gaussian Processes and Bayesian Inference被引用数 19

ひとこと要約

本稿では、フレンク＝ウルフ法を用いて繰り返し密度の混合物を構築することで近似品質を向上させるブラックボックス変分推論（BBVI）フレームワークを提案する。収束条件を緩和し、残差ELBO（RELBO）を導入することで、カスタムLMOが不要な完全なブラックボックス実装を可能にし、多様なモデルにおいて低い分散と高い安定性を達成するより優れた事後分布近似を実現する。

ABSTRACT

Approximating a probability density in a tractable manner is a central task in Bayesian statistics. Variational Inference (VI) is a popular technique that achieves tractability by choosing a relatively simple variational family. Borrowing ideas from the classic boosting framework, recent approaches attempt to \emph{boost} VI by replacing the selection of a single density with a greedily constructed mixture of densities. In order to guarantee convergence, previous works impose stringent assumptions that require significant effort for practitioners. Specifically, they require a custom implementation of the greedy step (called the LMO) for every probabilistic model with respect to an unnatural variational family of truncated distributions. Our work fixes these issues with novel theoretical and algorithmic insights. On the theoretical side, we show that boosting VI satisfies a relaxed smoothness assumption which is sufficient for the convergence of the functional Frank-Wolfe (FW) algorithm. Furthermore, we rephrase the LMO problem and propose to maximize the Residual ELBO (RELBO) which replaces the standard ELBO optimization in VI. These theoretical enhancements allow for black box implementation of the boosting subroutine. Finally, we present a stopping criterion drawn from the duality gap in the classic FW analyses and exhaustive experiments to illustrate the usefulness of our theoretical and algorithmic contributions.

研究の動機と目的

• 変分族やLMO実装に厳しい仮定を要するホワイトボックスブースティングVIの現実的でない点を是正すること。
• 各モデル固有のカスタムLMOが不要なブラックボックス展開を可能にするために、ブースティングVIのブラックボックス化を実現すること。
• 厳密な滑らかさではなく、曲率に基づく緩和された条件を用いることで、ブースティングVIの収束保証と安定性を向上させること。
• フレンク＝ウルフ最適化における双対ギャップに基づく実用的な停止基準を提供すること。
• 複数の実世界および合成ベイジアンモデルにおいて、本手法の有効性を実証すること。

提案手法

• 滑らかさの仮定に代えて緩和された有界曲率仮定を用いた関数的フレンク＝ウルフ法を用いて、ブースティングVI問題を再定式化する。
• 各ブースティング反復において非退化な成分選択を保証するため、修正された目的関数として残差ELBO（RELBO）を導入する。
• ブースティングサブルーチンをモデル固有の実装から分離することでブラックボックス互換性を実現し、標準的なVIソルバの再利用を可能にする。
• 古典的フレンク＝ウルフ理論に由来する双対ギャップに基づく停止基準を採用し、最適な反復回数を決定する。
• 各新しい成分を柔軟で非切断された変分族上でのRELBO最大化により選択する繰り返し混合更新を採用する。
• 標準BBVIバックエンドを用いて、ベイジアン線形回帰、行列分解、臨床予測タスクに本フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 各モデルに対してカスタムLMO実装を要しない完全なブラックボックスブースティング変分推論が可能か？
• RQ2 滑らかさ仮定を有界曲率に緩和することで、VIにおける収束保証と実用性が向上するか？
• RQ3 残差ELBO（RELBO）目的関数は、ブラックボックス最適化を可能にしつつ、非退化で高品質な成分を保証できるか？
• RQ4 双対ギャップは、実用的なブースティングVIにおける信頼性の高い効果的な停止基準として機能するか？
• RQ5 提案手法は、標準BBVIと比較して、より優れた事後分布近似品質と低い分散を達成するか？

主な発見

• ChemReactデータセットでは、ラプラス基底族を用いたブースティングBBVIが、テストAUROC 0.794 ± 0.005を達成し、ラプラス族（0.781 ± 0.012）およびガウス族（0.790 ± 0.009）を用いたBBVIを上回った。
• eICUデータセットでは、ブースティングBBVIがテストAUROC 0.844 ± 0.006を達成し、ベースラインBBVI（0.838 ± 0.016）と比較して性能が向上し、分散が低くなった。
• CBCL Faceデータセットにおけるベイジアン行列分解では、ブースティングBBVIが平均二乗誤差を0.0135 ± 0.52e-04（D=10）に低減し、ベースラインBBVI（0.0188 ± 0.001）を上回った。
• ホールドアウトテスト対数尤度では、ブースティングBBVIが-0.9492 ± 0.001（D=10）を達成し、ベースラインBBVIの-0.9468 ± 0.3e-3を上回った。
• 複数回の繰り返しにおいて、本手法は分散を一貫して低減し、標準BBVIよりも高い安定性を示した。
• 双対ギャップに基づく停止基準は、ChemReactおよびeICUデータセットの両方で最適な反復回数（17回目）を効果的に特定した。