[論文レビュー] Copula variational inference

Dustin Tran, David M. Blei+1 more|arXiv (Cornell University)|Jun 10, 2015

Gaussian Processes and Bayesian Inference参考文献 18被引用数 33

ひとこと要約

コペュラ変分推論（Copula VI）は、潜在変数間の依存関係をモデル化するためのコペュラを変分族に追加することで、平均場型および構造的変分推論を向上させる。これにより近似バイアスが著しく低減され、ロバスト性が向上する。本手法は平均場型パラメータとコペュラパラメータの間で交互最適化を実行し、スケーラブルで汎用的な推論を実現。標準的手法に比べ、精度と初期化・ハイパーパramータへの感受性の両面で優れた性能を発揮する。

ABSTRACT

We develop a general variational inference method that preserves dependency among the latent variables. Our method uses copulas to augment the families of distributions used in mean-field and structured approximations. Copulas model the dependency that is not captured by the original variational distribution, and thus the augmented variational family guarantees better approximations to the posterior. With stochastic optimization, inference on the augmented distribution is scalable. Furthermore, our strategy is generic: it can be applied to any inference procedure that currently uses the mean-field or structured approach. Copula variational inference has many advantages: it reduces bias; it is less sensitive to local optima; it is less sensitive to hyperparameters; and it helps characterize and interpret the dependency among the latent variables.

研究の動機と目的

• 潜在変数間の条件付き独立性を仮定する平均場型変分推論の限界を是正すること。この仮定により、後方分布の近似に顕著なバイアスが生じる。
• モデル固有の導出を必要とせず、事後分布の複雑な依存関係を保持する汎用的かつスケーラブルな手法を開発すること。
• 柔軟で学習可能な依存構造を導入することで、変分推論における局所最適解やハイパーパramータへの感受性を低減すること。
• コペュラベースのモデリングにより、潜在変数間の依存関係を解釈可能に特徴づけること。

提案手法

• 標準的な平均場型変分族にコペュラを追加し、因子化近似で捉えきれない残存依存関係をモデル化する。
• 2段階の交互最適化を採用：まずコペュラを固定した状態で平均場型パラメータ（周辺分布）を再推定し、次に周辺分布を固定した状態でコペュラパラメータを再推定する。
• 大規模データセットへのスケーリングを実現するため、確率的最適化を適用し、ブラックボックス適用を可能にする。
• 非線形的かつ非ガウス型の依存関係を潜在空間でモデル化するため、ガウス・コペュラを柔軟で微分可能な構造として採用する。
• ビン・コペュラフレームワークを活用し、高次元の潜在構造に対応するモデル化能力を拡張する。
• 既存のブラックボックス変分推論フレームワークとシームレスに統合され、モデル仕様には対数尤度関数のみが必要となる。

実験結果

リサーチクエスチョン

• RQ1 モデル固有の導出を必要とせずに、平均場型および構造的推論における変分近似の表現力を体系的に向上させるために、コペュラを活用できるか？
• RQ2 コペュラベースの拡張は、潜在変数モデルにおける変分推論のバイアス、分散、収束行動にどのように影響を与えるか？
• RQ3 標準的な平均場型推論および高次の手法（例：LRVB）と比較して、コペュラ VI は局所最適解やハイパーパramータ選択に対する感受性をどの程度低減するか？
• RQ4 実世界のモデル（例：ガウス・ミックスチャネルモデルや潜在空間ネットワーク）において、コペュラ VI は潜在変数間の複雑な依存関係を正確に捉え、解釈可能に表現できるか？

主な発見

• 平均場型推論が無視する依存関係をモデル化することで、コペュラ VI は後方分布近似におけるバイアスを顕著に低減し、特に後方分散の推定において顕著な改善を示す。
• ガウス・ミックスチャネルモデルにおいて、コペュラ VI は平均場型および LRVB と比較して、初期化やハイパーパramータへの感受性が低く、より低い誤差でパラメータを推定する。
• MNIST 0/1 分類タスクにおいて、コペュラ VI はテスト誤差率 0.06 を達成し、初期化に依存して 0.06 から 0.32 の間で変動する LRVB よりも優れたロバスト性を示した。
• 10万ノードの潜在空間モデルにおいて、コペュラ VI は完全収束時（2時間）に予測対数尤度 -50.5 を達成し、平均場型（-383.2）および LRVB（-330.5）を著しく上回った。2ステップでの使用時でも LRVB よりも高速で、性能に優れた。
• 2ステップ（1回のコペュラ適合）でのみでも、コペュラ VI は予測尤度 -303.2 を達成し、精度と速度の両面で LRVB をすでに上回った。
• コペュラ VI は約10ステップで収束し、ELBO において安定的かつ単調に改善が見られ、交互最適化戦略の有効性を裏付けた。