[論文レビュー] Variational Inference with Tail-adaptive f-Divergence

Dilin Wang, Hao Liu+1 more|arXiv (Cornell University)|Oct 29, 2018

Adversarial Robustness in Machine Learning被引用数 20

ひとこと要約

本稿では、重要度重みの尾挙動に基づいて凸関数 f を動的に調整する尾適応 f-発散を提案する。これにより、有限のモーメントと安定した最適化を保証するとともに、質量カバレッジ特性を維持する。この手法は、ベイジアンニューラルネットワークおよびディープ強化学習において、標準的な KL や α-発散手法を上回る性能を発揮し、特にマルチモーダルおよび高次元設定で顕著な向上を示す。

ABSTRACT

Variational inference with α-divergences has been widely used in modern probabilistic machine learning. Compared to Kullback-Leibler (KL) divergence, a major advantage of using α-divergences (with positive α values) is their mass-covering property. However, estimating and optimizing α-divergences require to use importance sampling, which could have extremely large or infinite variances due to heavy tails of importance weights. In this paper, we propose a new class of tail-adaptive f-divergences that adaptively change the convex function f with the tail of the importance weights, in a way that theoretically guarantees finite moments, while simultaneously achieving mass-covering properties. We test our methods on Bayesian neural networks, as well as deep reinforcement learning in which our method is applied to improve a recent soft actor-critic (SAC) algorithm. Our results show that our approach yields significant advantages compared with existing methods based on classical KL and α-divergences.

研究の動機と目的

• 変分推論における重い尾を持つ重要度重みの推定に起因する α-発散の不安定性を解消すること。
• 勾配推定における有限の分散を保証しながら、質量カバレッジ特性を維持する手法の開発。
• 訓練中に密度比の尾分布に基づいて発散行動を適応的に選択可能にする。
• 標準的な KL や α-発散の目的関数に置き換えることで、ベイジアンニューラルネットワークおよびディープ強化学習における変分推論を向上させること。
• 経験的重み分布に基づいて f を動的に変更する理論的裏付けを有する適応的 f-発散の開発。

提案手法

• 密度比 w = p(x)/q(x) の経験的尾分布に基づいて凸関数 f を適応させる新しい f-発散のクラスを提案する。
• 重要度重みのランクベース変換を用いて、高尾領域での爆発を回避する区分的凸関数 f を定義する。
• 再パラメトリゼーション勾配を用いた確率的最適化を適用し、変分近似のエンドツーエンド訓練を可能にする。
• 勾配ステップごとに現在の w の分布に基づき f を動的に更新する新しい変分推論アルゴリズム（アルゴリズム 1）を導出する。
• 強化学習におけるソフトアクターキャスト（SAC）に適応し、ポリシー更新における KL 発散を尾適応 f-発散に置き換える。
• qπ と pQ 間の発散最小化としてポリシー更新を再定式化するための共同分布定式化を採用し、強化学習における f-発散のより広範な利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 重要度重みの尾挙動に応じて f-発散を動的に適応させることで、有限のモーメントと安定した推定を確保できるか？
• RQ2 尾適応 f-発散は、α-発散の質量カバレッジ特性を維持しながら推定の安定性を向上させるか？
• RQ3 この適応的発散は、マルチモーダルな事後分布を有するベイジアンニューラルネットワークにおける変分推論を改善できるか？
• RQ4 特にマルチモーダル意思決定において、この手法は強化学習におけるサンプル効率と最終的パフォーマンスを向上させられるか？
• RQ5 複雑で高次元な環境において、適応的 f-発散は固定 α-発散および KL-ベース手法と比較してどのように性能を発揮するか？

主な発見

• 提案された尾適応 f-発散は、重要度重みの有限モーメントを保証し、勾配推定における無限分散のリスクを排除する。
• ベイジアンニューラルネットワークにおいて、標準的な KL や α-発散と比較して、真の事後分布の複数のモードをよりよく回復する。
• MuJoCo環境において、本手法は元の SAC（α=0）およびすべてのテストされた α-発散バリアントを上回り、Ant や Humanoid などの複雑なタスクで顕著な優位性を示す。
• 大多数の環境において、本手法はすべてのベースラインより高速に学習を進め、より高い漸近的パフォーマンスを達成する。
• 特に高次元かつマルチモーダルな設定で顕著な向上が見られ、複雑な事後分布構造における本手法の有効性を示している。
• 実験結果は、本手法がディープ強化学習におけるマルチモーダル損失関数のより効率的な最適化を可能にすることを確認している。