[論文レビュー] Practical and Consistent Estimation of f-Divergences

Paul K. Rubenstein, Olivier Bousquet+3 more|arXiv (Cornell University)|May 27, 2019

Statistical Mechanics and Entropy参考文献 37被引用数 5

ひとこと要約

本稿では、変分オートエンコーダーや生成モデルにおいて一般的な強力な構造的仮定の下で、f-発散の実用的で一貫性のある推定器を提案する。既知の事前分布と条件付き密度を活用することで、非パラメトリック推定器よりも高速な収束速度を達成し、高次元設定におけるバイアスと分散の制御が向上することを実験的に確認した。

ABSTRACT

The estimation of an f-divergence between two probability distributions based on samples is a fundamental problem in statistics and machine learning. Most works study this problem under very weak assumptions, in which case it is provably hard. We consider the case of stronger structural assumptions that are commonly satisfied in modern machine learning, including representation learning and generative modelling with autoencoder architectures. Under these assumptions we propose and study an estimator that can be easily implemented, works well in high dimensions, and enjoys faster rates of convergence. We verify the behavior of our estimator empirically in both synthetic and real-data experiments, and discuss its direct implications for total correlation, entropy, and mutual information estimation.

研究の動機と目的

• 標準の非パラメトリック推定器が次元の呪いに苦しむ高次元設定におけるf-発散推定の課題に対処すること。
• 現代の機械学習で一般的な構造的仮定、例えばオートエンコーダー構造における既知の事前分布と条件付き密度を活用する実用的な推定器の開発。
• 問題の構造を活用することで、既存のアーギオス推定器よりも高速な収束速度を達成すること。
• 実世界の応用において、相互情報量、全相関、エントロピーを推定するのに実装可能で効果的な手法を提供すること。

提案手法

• 既知の条件付き密度と既知の事前分布を用いて、集約事後分布からのサンプリングを可能にする再パラメトリゼーションテクニックに基づく推定器。
• f-発散の推定に有限個のサンプル数Mを用いたモンテカルロ近似を採用し、重要度サンプリングによって分散を低減。
• 再パラメトリゼーション勾配と制御変数を組み合わせたRAM-MC（再パラメトリゼーション近似法＋モンテカルロ）アプローチを用い、分散を低減。
• 特に周辺化によって事後分布が解析的に得られない場合においても、モデルの構造を活用することで一貫性があり、より高速な収束速度を達成するように設計。
• 合成データおよび実データの両方の実験により検証を行い、FIDに基づくモデル選択を用いて事前分布と事後分布の一致度を評価。

実験結果

リサーチクエスチョン

• RQ1 現代の深層生成モデルにおいて一般的な強い構造的仮定の下で、f-発散推定を一貫性があり、効率的に可能にすることができるか？
• RQ2 既知の条件付き密度と事前分布を活用することで、アーギオス非パラメトリック推定器よりも高速な収束速度が達成できるか？
• RQ3 高次元設定において、バイアス、分散、計算効率の観点から、提案手法は既存手法と比較してどのように異なるか？
• RQ4 提案手法は、実世界の生成モデルにおける相互情報量、全相関、エントロピー推定に有効に応用できるか？

主な発見

• 提案されたRAM-MC推定器は、次元の呪いに苦しむ非パラメトリック推定器（収束速度N^(-1/d)）よりも高速な収束速度を達成した。
• 実験結果から、モンテカルロサンプル数Mを増やすことで分散が減少し、log変換の凸性に起因してM=1000がM=10よりも一貫して優れた性能を示した。
• サンプルサイズNの増加に伴いバイアスが減少することが実証され、二乗ヘリンジャ距離の実験でlog(2 - D_H2)の値が上昇した。
• 本手法は、高次元オートエンコーダー・モデルにおいてもf-発散を一貫して推定でき、ResNetやDCGANといった異なるアーキテクチャおよび32, 64, 128といった異なる潜在次元数においても安定した性能を示した。
• χ²-発散では、大きなKL値が倍精度の範囲を超えて数値的不安定性が生じたが、これにより他のf-発散に対して本手法のロバスト性が浮き彫りになった。