[論文レビュー] Variational Tempering

Stephan Mandt, James O. McInerney+3 more|arXiv (Cornell University)|Nov 7, 2014

Machine Learning and Algorithms被引用数 23

ひとこと要約

本稿では、変分推論における温度を潜在変数として扱うことで、適応的アニーリングスケジュールを可能にする変分温度調整（VT）および局所的変分温度調整（LVT）を提案する。データから最適な温度スケジュールを学習することで、VTおよびLVTは従来の確率的変分推論や手動で調整されたアニーリングを上回り、トピックモデルおよび混合モデルにおいて、手動でのハイパーパrameterチューニングを必要とせずに、保留データにおける予測尤度を向上させる。

ABSTRACT

Variational inference (VI) combined with data subsampling enables approximate posterior inference over large data sets, but suffers from poor local optima. We first formulate a deterministic annealing approach for the generic class of conditionally conjugate exponential family models. This approach uses a decreasing temperature parameter which deterministically deforms the objective during the course of the optimization. A well-known drawback to this annealing approach is the choice of the cooling schedule. We therefore introduce variational tempering, a variational algorithm that introduces a temperature latent variable to the model. In contrast to related work in the Markov chain Monte Carlo literature, this algorithm results in adaptive annealing schedules. Lastly, we develop local variational tempering, which assigns a latent temperature to each data point; this allows for dynamic annealing that varies across data. Compared to the traditional VI, all proposed approaches find improved predictive likelihoods on held-out data.

研究の動機と目的

• 大規模データセットにおける確率的変分推論（SVI）の局所最適解の悪さを解消すること。
• 決定的アニーリングにおける温度スケジュールの手動チューニングの必要性を排除し、データからスケジュールを学習すること。
• 条件付き共役指数型分散族モデルにおける事後分布近似を改善するスケーラブルでデータ駆動型のアニーリング手法を開発すること。
• 各データポイントに固有の温度を持つ局所的変分温度調整（LVT）を導入し、データ全体にわたる動的アニーリングを可能にすること。
• 変分温度調整が、最良の手動チューニングされたアニーリングスケジュールと同等またはそれを上回る性能を達成することを示すこと。

提案手法

• 温度を潜在変数として導入することで、最適なアニーリングスケジュールをデータから推論できるようにする変分温度調整（VT）を導入する。
• 温度依存の目的関数を用いた平均場変分推論フレームワークを採用し、温度は変分推論により周辺化する。
• スケーラブルな推論を可能にするために、確率的変分推論（SVI）を用いて条件付き共役指数型分散族モデルに適用する。
• 各データポイントに固有の温度変数を持つ局所的変分温度調整（LVT）を構築し、データポイントごとの動的アニーリングを可能にする。
• グローバルおよびローカル温度変数のための変分更新式を導出し、標準的なSVI最適化ループに統合する。
• ブラックボックス変分推論技術を用いて、モデル固有の導出を最小限に抑えつつ、広範なモデルクラスへ一般化する。

実験結果

リサーチクエスチョン

• RQ1 変分推論における温度を潜在変数として扱うことで、固定値または手動でチューニングされたアニーリングスケジュールよりも優れた事後分布近似が達成できるか？
• RQ2 変分温度調整は、最良の手動チューニングされた線形スケジュールと同等またはそれを上回る性能を示す自動アニーリングスケジュールを学習できるか？
• RQ3 各データポイントに固有の温度を持つ局所的変分温度調整（LVT）は、データ全体にわたる動的アニーリングレートを可能にすることで、推論品質を向上させられるか？
• RQ4 保留データにおける予測尤度の観点から、変分温度調整は標準的な確率的変分推論（SVI）と比べてどのように差をつけるか？
• RQ5 非凸な変分目的関数における、適応的温度学習が収束性および悪くない局所最適解の回避に与える影響は何か？

主な発見

• 変分温度調整（VT）は、保留データにおける予測尤度が、最良の手動チューニングされた線形アニーリングスケジュールと同等またはそれを上回る。
• Yale Facesデータセットでは、VTが最適な線形スケジュールとほぼ同等の性能を自動的に学習し、ハイパーパrameter探索の必要性を排除した。
• 人工的な因子分解混合モデルデータでは、VTは標準的な変分推論が悪い局所最適解に陥るのを避けて、より明確で正確な潜在成分（μk）を回復した。
• 局所的変分温度調整（LVT）は、データポイントごとに異なる速度で最適化が行われる動的アニーリングを可能にした。
• 提案されたすべての手法—アニーリング付きVI、VT、LVT—は、トピックモデルおよび混合モデルの両方で、標準的なSVIよりも高いELBOとより良い予測尤度を達成した。
• VTにおける期待温度は反復処理に伴い変化し、スケジュールが自然にデータから出現することを示し、有効な自動アニーリングが実現した。