[論文レビュー] Optimal Bounds between $f$-Divergences and Integral Probability Metrics

Rohit Agrawal, Thibaut Horel|arXiv (Cornell University)|Jun 10, 2020

Statistical Mechanics and Entropy参考文献 72被引用数 2

ひとこと要約

本稿では、凸双対性とf-発散度のタイトな変分表現を用いて、f-発散度と積分確率距離（IPM）の間の最適な境界を確立する。f-発散度の最良の下界を特定のIPMに関して特徴付ける一般化されたモーメント生成関数を導入し、ピンスカーベルの不等式やハマークライ・チャパマン・ロビンズの境界といった古典的結果を統一的かつ拡張的に扱う。

ABSTRACT

The families of $f$-divergences (e.g. the Kullback-Leibler divergence) and Integral Probability Metrics (e.g. total variation distance or maximum mean discrepancies) are widely used to quantify the similarity between probability distributions. In this work, we systematically study the relationship between these two families from the perspective of convex duality. Starting from a tight variational representation of the $f$-divergence, we derive a generalization of the moment-generating function, which we show exactly characterizes the best lower bound of the $f$-divergence as a function of a given IPM. Using this characterization, we obtain new bounds while also recovering in a unified manner well-known results, such as Hoeffding's lemma, Pinsker's inequality and its extension to subgaussian functions, and the Hammersley-Chapman-Robbins bound. The variational representation also allows us to prove new results on topological properties of the divergence which may be of independent interest.

研究の動機と目的

• 凸双対性を用いて、f-発散度と積分確率距離（IPM）の関係を体系的に分析すること。
• f-発散度のタイトな変分表現を導出し、IPMに関して最適な下界を特徴付けること。
• ホーフィングの補題、ピンスカーベルの不等式、ハマークライ・チャパマン・ロビンズの境界といった古典的結果を、統一的な枠組み内で統合・拡張すること。
• f-発散度の新たな位相的性質を確立し、それらが独立した理論的関心をもつこと。

提案手法

• 凸双対性を用いて、f-発散度のタイトな変分表現を導出し、IPMとの関係を精密に分析可能にする。
• 特定のIPMに関して、f-発散度の最良の下界を正確に特徴付ける一般化されたモーメント生成関数を導入する。
• 変分表現を用いて既知の不等式を回復・拡張し、ピンスカーベルの不等式のサブガウス型拡張を含む。
• フレームワークを応用して、IPM収束下での連続性や収束性を含むf-発散度の新たな位相的性質を証明する。
• 双対性に基づく特徴付けを確立し、異なる関数クラスにおいてf-発散度とIPMを体系的に比較可能にする。
• 一般化されたモーメント生成関数を活用し、情報理論および統計的推論からの結果を統一的かつ拡張的に扱う。

実験結果

リサーチクエスチョン

• RQ1 与えられた積分確率距離に関して、f-発散度の最もタイトな下界は何か？
• RQ2 凸双対性をどのように用いて、f-発散度とIPMを体系的に関連付けることができるか？
• RQ3 ピンスカーベルの不等式やホーフィングの補題といった古典的不等式は、統一的な変分枠組み内で回復・拡張可能か？
• RQ4 この双対性に基づく表現から、f-発散度のどのような位相的性質が生じるか？
• RQ5 一般化されたモーメント生成関数は、f-発散度とIPMの関係をどのように特徴付けるか？

主な発見

• 本稿では、与えられたIPMに関してf-発散度の最良の下界を正確に特徴付ける一般化されたモーメント生成関数を導出した。
• ホーフィングの補題、ピンスカーベルの不等式、ハマークライ・チャパマン・ロビンズの境界といったよく知られた結果を、統一的な変分枠組み内で回復・統合した。
• 変分表現により、サブガウス型関数に対する新たな境界を導出でき、古典的ピンスカーベルの不等式をこの設定に拡張した。
• フレームワークにより、IPM収束下での連続性や収束性を含むf-発散度の新たな位相的性質を証明した。
• 提案された一般化されたモーメント生成関数が、与えられたIPMに対して達成可能な最小のf-発散度を鋭く正確に特徴付けることを示した。
• 統計的学習や情報理論に応用可能な、f-発散度とIPMを体系的に比較・評価するための方法を提供した。