[論文レビュー] Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models

Hugh Salimbeni, Stefanos Eleftheriadis+1 more|arXiv (Cornell University)|Mar 24, 2018

Gaussian Processes and Bayesian Inference被引用数 9

ひとこと要約

本稿では、非共役の変分推論におけるガウス過程モデルにおける自然勾配降下法（NGD）を導入し、収束を加速するために曲率情報を活用する。NGDが、Adam や GD といった標準的手法に比べ、特に複雑な尤度関数を伴う高次元設定において、最適化の安定性と収束速度を顕著に向上させることを示している。

ABSTRACT

The natural gradient method has been used effectively in conjugate Gaussian process models, but the non-conjugate case has been largely unexplored. We examine how natural gradients can be used in non-conjugate stochastic settings, together with hyperparameter learning. We conclude that the natural gradient can significantly improve performance in terms of wall-clock time. For ill-conditioned posteriors the benefit of the natural gradient method is especially pronounced, and we demonstrate a practical setting where ordinary gradients are unusable. We show how natural gradients can be computed efficiently and automatically in any parameterization, using automatic differentiation. Our code is integrated into the GPflow package.

研究の動機と目的

• 非共役の変分推論におけるガウス過程モデルの最適化が遅く不安定であるという課題に対処すること。
• 自然勾配による曲率情報の組み込みにより、変分推論の収束速度と安定性を向上させること。
• 複雑なガウス過程モデルにおいて、自然勾配降下法（NGD）と標準的な最適化手法（Adam や勾配降下法）の性能を比較すること。
• 高次元および非共役尤度設定において、自然勾配の実用的有効性を示すこと。

提案手法

• 非共役尤度を伴うガウス過程モデルにおける変分パラメータ最適化に自然勾配降下法（NGD）を適用する。
• フィッシャー情報計量を用いて曲率に配慮した更新を計算し、最適化のダイナミクスを改善する。
• 大規模データセットを効率的に処理するため、自然勾配の確率的近似を採用する。
• NGD を平均場変分推論と統合し、曲率補正付きのステップで平均および分散パラメータを同時に更新する。
• ガウス尤度およびスチューデントt尤度を用いて、NGD を標準的最適化手法（Adam、GD、LBFGS）と比較する。
• 再パラメータライゼーショントリックを用いて、変分目的関数における微分可能サンプリングと安定な勾配推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 非共役ガウス過程モデルにおいて、自然勾配降下法は標準的最適化手法に比べて収束速度がどのように異なるか？
• RQ2 自然勾配は高次元ガウス過程推論における最適化の安定性を向上させることができるか？
• RQ3 曲率情報は、非共役設定における証拠下限値（ELBO）最適化にどのような影響を与えるか？
• RQ4 実世界のデータセットにおいて、ガウス尤度やスチューデントt尤度といった異なる尤度族に対して、NGD はどのように性能を発揮するか？
• RQ5 大規模データセットおよび高次元にスケーリングした際、NGD は優れた性能を維持できるか？

主な発見

• NGD は、ガウス尤度およびスチューデントt尤度の両設定において、Adam や GD、LBFGS よりも高速な収束を達成する。
• NGD は、特に高次元問題（D=8, N=768）および重尾尤度において、最適化の安定性が向上している。
• 複数回の実験において一貫して高い証拠下限値（ELBO）を達成しており、より優れた変分近似品質を示している。
• 非共役設定では曲率情報が重要となるため、NGD は収束速度の面で標準的手法を上回る。
• 曲率に配慮した更新の導入により、ハイパーパramータの選択に敏感になるのを抑え、よりロバストな最適化が実現された。
• ボストン住宅データセット（N=506, D=14）における実験結果は、NGD が ELBO 最適化およびパラメータ収束の面で優位性を示していることを確認している。