[論文レビュー] Wasserstein Variational Inference

Luca Ambrogioni, Umut Güçlü+4 more|arXiv (Cornell University)|May 29, 2018

Anomaly Detection Techniques and Applications参考文献 28被引用数 9

ひとこと要約

本稿では、最適輸送理論を用いた安定で勾配ベースのブラックボックス法として、Wasserstein変分推論を提案する。自動微分を用いたSinkhorn反復により、陽的分布と微分可能なプログラムを用いた尤度フリーな学習を可能にし、複数のデータセットでVAEやALIを上回る再構成精度とサンプル品質を達成する。

ABSTRACT

This paper introduces Wasserstein variational inference, a new form of approximate Bayesian inference based on optimal transport theory. Wasserstein variational inference uses a new family of divergences that includes both f-divergences and the Wasserstein distance as special cases. The gradients of the Wasserstein variational loss are obtained by backpropagating through the Sinkhorn iterations. This technique results in a very stable likelihood-free training method that can be used with implicit distributions and probabilistic programs. Using the Wasserstein variational inference framework, we introduce several new forms of autoencoders and test their robustness and performance against existing variational autoencoding techniques.

研究の動機と目的

• 尤度の評価を必要としない安定で勾配ベースの近似ベイズ推論手法の開発。
• f-発散とWasserstein距離を統合する新しい発散族、c-Wasserstein発散族を提案。
• Sinkhorn反復のバックプロパゲーションにより、陰的変分分布を用いた確率的モデルのエンドツーエンド学習を可能に。
• 低データおよび退化分布の状態でも、オートエンコーダーのロバスト性と性能を向上。
• 不安定さを避けるために敵対的学習の代替としての尤度フリーな選択肢を提供。

提案手法

• f-発散とWasserstein距離を一般化するc-Wasserstein発散族を提案。
• エントロピー正則化を用いて、Sinkhornアルゴリズムによる最適輸送の計算的実行可能性を確保。
• Sinkhorn反復のバックプロパゲーションにより、変分損失の勾配を導出。微分可能学習を可能に。
• 変分オートエンコーダーにフレームワークを適用し、1111、1100、およびVAE/ALI部品を統合したハイブリッドモデルを導入。
• 直接計算が困難な事後分布を避けるために、共同対照的変分推論を採用。
• 陰的変分分布のエンドツーエンド学習を可能にするために、微分可能な確率的プログラミングに統合。

実験結果

リサーチクエスチョン

• RQ1 最適輸送発散を用いることで、陰的モデル向けに安定で勾配ベースの変分推論フレームワークを構築可能か？
• RQ2 提案されたc-Wasserstein発散族は、単一の最適化フレームワーク内でf-発散とWasserstein距離をどのように統合するか？
• RQ3 Sinkhornに基づく勾配は、敵対的損失部品に依存せずにオートエンコーダーの信頼性ある学習を可能にするか？
• RQ4 Wasserstein変分オートエンコーダーは、再構成精度とサンプル品質においてVAEやALIと比較してどのように性能を発揮するか？
• RQ5 損失重み付けスキームにおけるハイパーパramータの摂動に対しても、この手法はロバスト性を保つのか？

主な発見

• MNISTでは、1111モデルがVAEおよびALIをすべての指標で上回り、潜在空間の平均二乗偏差が0.877 ± 0.026、サンプル品質平均が0.041 ± 0.002を達成。
• 1111モデルは重み摂動に対して高いロバスト性を示し、すべての指標で標準偏差が0.03未満であり、4つの比較で他のモデルの最小誤差よりも最大誤差が低かった。
• 純粋にメトリックな1100モデルは、周辺分布のみで学習されたにもかかわらず、低い再構成誤差（0.0268）を達成し、強力な一般化能力を示した。
• ハイブリッドモデルh-VAEおよびh-ALIは高い性能を示し、Sinkhorn損失が敵対的学習を安定化できることを示唆した。
• ALIモデルは全実行で7と9の数字に崩壊し、再構成誤差が0.168 ± 0.047、サンプル品質が0.057 ± 0.002と高く、劣悪な性能を示した。
• Fashion-MNISTおよびQuick Sketchesでは、1111モデルが潜在空間誤差（0.8822）と観測誤差（0.0642）を最低に抑え、サンプル品質は0.0699を達成した。