[論文レビュー] Provable Smoothness Guarantees for Black-Box Variational Inference

Justin Domke|arXiv (Cornell University)|Jan 24, 2019

Sparse and Compressive Sensing Techniques参考文献 39被引用数 6

ひとこと要約

この論文は、位置・スケール族を用いたブラックボックス変分ベイズ推論における滑らかさの保証を確立する。潜在変数における対数ターゲット密度がM-Lipschitz滑らかであるならば、ELBOのエネルギー項も変分パラメータに関してM滑らかである。この結果により勾配ベース最適化の収束保証が得られ、最適な共分散行列の境界が得られ、実用的な数値安定性が保証される。

ABSTRACT

Black-box variational inference tries to approximate a complex target distribution though a gradient-based optimization of the parameters of a simpler distribution. Provable convergence guarantees require structural properties of the objective. This paper shows that for location-scale family approximations, if the target is M-Lipschitz smooth, then so is the objective, if the entropy is excluded. The key proof idea is to describe gradients in a certain inner-product space, thus permitting use of Bessel's inequality. This result gives insight into how to parameterize distributions, gives bounds the location of the optimal parameters, and is a key ingredient for convergence guarantees.

研究の動機と目的

• 対数ターゲット密度のM滑らかさがブラックボックス変分ベイズ推論におけるエネルギー項のM滑らかさを導くという理論的ギャップを埋める。
• 特に共分散行列の固有値に対する下界を含む、最適な変分パラメータのパラメータ空間制約を導出する。
• ブラックボックスVIにおける単純勾配降下法の経験的不安定性、特に最適化軌道における「ジャンプ」の原因を説明する。
• 非凸的ブラックボックスVIにおける投影勾配法および近接勾配法の使用に理論的根拠を提供する。
• 特定の変分族に依存しない一般化された位置・スケール族における滑らかさおよび強凸性の結果を拡張する。

提案手法

• 勾配の内積空間表現を用いることで、エネルギー項の勾配差をバナッハの不等式を適用して評価可能にする。
• 変分分布が標準化された基本分布の位置・スケール変換である位置・スケール族に焦点を当てる。
• 潜在変数における対数結合密度がM-Lipschitz滑らかであるという仮定の下で、エネルギー項の滑らかさを導出する。
• 導出した境界に基づき、パラメータ空間を制限する投影勾配降下スキームを提案し、収束保証を提供する。
• エントロピー項の非滑らか性を正則化項で明示的に扱う近接勾配法を導入する。
• 事前計算された1次元積分に基づく勾配推定器を用いて、合成データおよび実データを用いたロジスティック回帰および線形回帰モデルで理論的結果を経験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 位置・スケール族を用いた場合、変分パラメータに関してELBOのエネルギー項がいつM滑らかになるか。
• RQ2 対数ターゲットの滑らかさに基づいて、最適な変分パラメータ、特に共分散行列の固有値の境界を導出可能か。
• RQ3 正確な勾配が得られるにもかかわらず、ブラックボックスVIにおける単純勾配降下法がなぜときどき大きな「ジャンプ」を生じるのか。
• RQ4 投影または近接勾配法は、非滑らかなELBO最適化における収束安定性を向上させられるか。
• RQ5 対数ターゲットが強凸である場合、パラメータ空間におけるエネルギー項も強凸であるか。

主な発見

• 対数ターゲット密度が潜在変数に関してM-Lipschitz滑らかであるならば、位置・スケール族においてELBOのエネルギー項も変分パラメータに関してM滑らかである。
• 最適パラメータにおいて、変分共分散行列のすべての固有値は1/M以上に下限づけられ、小さな分散による数値的不安定性が回避される。
• ステップサイズ1/(2M)の投影勾配降下法は収束し、最適パラメータがパrameter空間の滑らかな領域内にあることを確認する。
• ステップサイズ1/Mの近接勾配降下法は収束し、共分散が大きい場合にはエントロピー項の局所線形性により、単純勾配降下法と同様の挙動を示す。
• 強凸な対数ターゲットに対しては、エネルギー項もパrameter空間で強凸であることが保証され、追加の収束保証が得られる。
• 経験的結果は、初期共分散が小さいとナーブな勾配降下法が収束しなくなるが、投影および近接法は安定であることを確認している。