[論文レビュー] Tighter Variational Representations of f-Divergences via Restriction to Probability Measures

Avraham Ruderman, Mark D. Reid+2 more|arXiv (Cornell University)|Jun 18, 2012

Statistical Mechanics and Entropy参考文献 20被引用数 17

ひとこと要約

本稿では、双対最適化を確率測度に制限することにより、f-発散のよりタイトな変分表現を提案し、推定精度を向上させる。この手法により、2つのi.i.d.標本からのf-発散推定がより効率的になり、最大平均差分（MMD）と関連づけられ、複数のベンチマークにおいて実験的性能が向上する。

ABSTRACT

We show that the variational representations for f-divergences currently used in the literature can be tightened. This has implications to a number of methods recently proposed based on this representation. As an example application we use our tighter representation to derive a general f-divergence estimator based on two i.i.d. samples and derive the dual program for this estimator that performs well empirically. We also point out a connection between our estimator and MMD.

研究の動機と目的

• 既存のf-発散の変分表現のタイトさを向上させること。
• 双対最適化を確率測度に制約することで、f-発散推定の推定誤差を低減すること。
• よりタイトな表現に基づき、2つのi.i.d.標本から構築された実用的なf-発散推定器を開発すること。
• 提案された推定器と最大平均差分（MMD）との間の理論的・実験的関連性を確立すること。
• よりタイトな境界を用いることで、f-発散最小化を含む機械学習応用における性能を向上させること。

提案手法

• 本稿では、一般の符号付き測度ではなく、確率測度に双対関数空間を制限することにより、f-発散のよりタイトな変分表現を導出する。
• 双対関数が確率測度の集合に属することを強制するf-発散推定の双対計画を定式化する。
• 凸双対性とLegendre-Fenchel変換を用いて、制限された定義域下での新しい変分境界を導出する。
• 得られた推定器は2つの独立同一分布に従う標本から構築され、密度比の必要がないため、実験的推定が可能である。
• 特定の条件下では、このアプローチが正則化されたMMDと同等であることが示され、カーネルベースの分布比較手法と関連づけられる。
• 実験的評価により、標準的な変分境界と比較して、f-発散推定タスクにおける性能向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 双対関数空間を確率測度に制限することで、f-発散の変分表現をタイトにできるか？
• RQ2 提案された制限が、実際のf-発散推定の精度にどのように影響するか？
• RQ3 新しい推定器とMMDのような既存のカーネルベース手法との関係は何か？
• RQ4 よりタイトな境界は、f-発散最小化を含む下流の機械学習タスクにおける性能向上に寄与するか？
• RQ5 標準的な変分f-発散推定器と比較して、制限付き双対定式化の理論的・実験的利点は何か？

主な発見

• 双対関数を確率測度に制限することにより、f-発散に対する著しくタイトな変分境界が達成された。
• 2つのi.i.d.標本に基づくf-発散推定器は、実験的評価において標準的な変分推定器を上回る性能を示した。
• 確率測度制約を強制する双対計画が導出され、最適化の安定性と精度が向上した。
• 特定のカーネル選択下では、新しい推定器と最大平均差分（MMD）との直接的な関連性が確立された。
• よりタイトな境界のおかげで、分布比較および生成モデルベンチマークにおいて実験的結果が向上した。
• 理論的枠組みにより、機械学習における変分推論と発散推定の改善のための整合的な手法が提供された。