[論文レビュー] A Framework for Improving the Reliability of Black-box Variational Inference

Manushi Welandawe, Michael Riis Andersen+2 more|arXiv (Cornell University)|Mar 29, 2022

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、対称化KLダイバージェンス推定を用いて学習率と終了基準を動的に調整することで、ロバストで自動的かつ高精度なブラックボックス変分推論フレームワークRAABBVIを提案する。固定学習率の反復の収束を検出することで、精度と計算コストのバランスを図り、多様なモデルにおいてチューニングパラメータへの感受性が低く、信頼性の高い推論を実現する。

ABSTRACT

Black-box variational inference (BBVI) now sees widespread use in machine learning and statistics as a fast yet flexible alternative to Markov chain Monte Carlo methods for approximate Bayesian inference. However, stochastic optimization methods for BBVI remain unreliable and require substantial expertise and hand-tuning to apply effectively. In this paper, we propose Robust and Automated Black-box VI (RABVI), a framework for improving the reliability of BBVI optimization. RABVI is based on rigorously justified automation techniques, includes just a small number of intuitive tuning parameters, and detects inaccurate estimates of the optimal variational approximation. RABVI adaptively decreases the learning rate by detecting convergence of the fixed--learning-rate iterates, then estimates the symmetrized Kullback--Leibler (KL) divergence between the current variational approximation and the optimal one. It also employs a novel optimization termination criterion that enables the user to balance desired accuracy against computational cost by comparing (i) the predicted relative decrease in the symmetrized KL divergence if a smaller learning were used and (ii) the predicted computation required to converge with the smaller learning rate. We validate the robustness and accuracy of RABVI through carefully designed simulation studies and on a diverse set of real-world model and data examples.

研究の動機と目的

• ブラックボックス変分推論（BBVI）における既存の確率的最適化手法の信頼性の低さと高いチューニング負荷を解消すること。
• 専門的介入を必要とせず、精度と計算コストのバランスを自動でとるフレームワークの開発。
• さらなる最適化が限界効果をもたらさないタイミングを検出するロバストな終了基準の提供。
• 収束指標として対称化KLダイバージェンスを用いることで、最適な変分近似の高精度な推定。
• 多様なモデルとデータセットにおいて、チューニングパラメータへの感受性を低く保ちつつ高い精度を維持すること。

提案手法

• RAABBVIは初期最適化に固定学習率を用い、反復の収束がウィンドウ化された安定性チェックにより検出された段階で、学習率を段階的に低下させる。
• 現在の反復平均と最適な変分近似との間の対称化カルバック・ライブラー（SKL）ダイバージェンスを推定することで、精度を評価する。
• 予測されるSKLダイバージェンスの相対的減少と、さらなる最適化に要する計算量を比較する新しい終了基準を採用し、精度とコストのトレードオフを合理的に制御する。
• 理論的結果（Pflugらの研究を含む）を活用し、固定学習率下での反復平均化により推定精度を向上させる。
• RMSProp や Adam などのさまざまな確率的最適化手法や、フルランクガウスなどの変分族をサポートすることで、柔軟性を向上させる。
• 収束検出は、ウィンドウ化された相対誤差閾値と非効率性指標に基づき、過剰な停止を回避する。

実験結果

リサーチクエスチョン

• RQ1 チューニングパラメータの選択に強く依存せず、高い精度を維持できるブラックボックス変分推論フレームワークは構築可能か？
• RQ2 ヒューリスティクスや固定反復回数に依存せずに、確率的BBVIにおける収束を信頼性高く検出する方法は何か？
• RQ3 自動学習率適応は、固定学習率法と比較して、BBVIの精度と効率をどの程度向上させ得るか？
• RQ4 精度と計算コストのバランスを原理的かつ一貫してとれる終了基準は設計可能か？
• RQ5 多様な実世界のモデルとデータセットにおいて、RAABBVIは動的HMCや他のBBVI手法と比較してどの程度の性能を示すか？

主な発見

• ドッグスデータセットなどのベンチマークモデルにおいて、固定学習率法や動的HMCと比較して、相対的平均誤差が10^-2〜10^-3のオーダーで著しく低く抑えられた。
• 初期学習率、ウィンドウサイズ、誤差閾値の異なる設定に対しても、チューニングパラメータの変更に対して感受性が低く、安定した性能を示した。
• 極端なチューニング設定（例：γ₀ = 0.01 または M ≤ 5）では実行時間が長くなったが、ほとんどの設定で精度は安定していた。
• 固定学習率下での反復平均化により、収束性と推定精度が向上し、特に学習率の段階的低下と組み合わせて顕著な効果を示した。
• RAABBVIの終了基準は、さらなる最適化が意味のある改善をもたらさないタイミングを的確に特定し、無駄な計算を削減した。
• シミュレーションおよび実世界の例において、RAABBVIは、対称化KLダイバージェンスで測定した場合、最適な近似に常に近い変分近似を一貫して生成した。