[論文レビュー] Mixed $f$-divergence for multiple pairs of measures

Elisabeth M. Werner, Deping Ye|arXiv (Cornell University)|Jun 27, 2016

Mathematical Inequalities and Applications参考文献 14被引用数 4

ひとこと要約

本稿では、複数の確率測度のペアに一般化された古典的 $f$-発散度の一般化として、混合 $f$-発散度を導入し、置換不変性や対称性といった主要な性質を確立している。混合 $f$-発散度に対して、アレクサンドロフ＝フェンケル型の不等式と等周不等式を証明し、凸幾何学の基本的不等式を情報理論および統計的発散度解析へと拡張している。

ABSTRACT

In this paper, the concept of the classical $f$-divergence for a pair of measures is extended to the mixed $f$-divergence for multiple pairs of measures. The mixed $f$-divergence provides a way to measure the difference between multiple pairs of (probability) measures. Properties for the mixed $f$-divergence are established, such as permutation invariance and symmetry in distributions. An Alexandrov-Fenchel type inequality and an isoperimetric inequality for the mixed $f$-divergence are proved.

研究の動機と目的

• 単一の測度ペアに対して定義される古典的 $f$-発散度を、複数の確率測度ペアに適用可能な多次元フレームワークへと拡張すること。
• 提案された混合 $f$-発散度に対して、置換不変性や分布における対称性といった基礎的性質を確立すること。
• 混合 $f$-発散度に対して、アレクサンドロフ＝フェンケル型の不等式および等周不等式を導出し、証明することで、情報理論と凸幾何学を結びつけること。
• $i$-番目の混合 $f$-発散度およびその関連する不等式を調査し、特に生成関数の凸性・凹性制約下での挙動を分析すること。
• 等号成立の条件を含む鋭い不等式を提供し、関数的および測度的性質に基づいて発散度が定数に収縮する条件を同定すること。

提案手法

• 共通の測度 $\mu$ に関する密度関数 $p_i, q_i$ を用いて、$n$ 個の確率測度ペア $(P_i, Q_i)$ の関数として混合 $f$-発散度を定義する。
• 凸性・凹性を保ち、発散度の定式化における対称性を確保するため、$f^*(t) = t f(1/t)$ による $*$-随伴変換を用いる。
• 測度ペアの順序を入れ替えても混合 $f$-発散度が不変であることを示すことにより、置換不変性を確立する。
• 一般化されたホルダー型不等式を $f$-発散度項の積に適用することで、アレクサンドロフ＝フェンケル型の不等式を証明する。
• 生成関数 $f$ の凸性・凹性制約下での極値ケースを分析することにより、等周型不等式を導出する。
• ジェンセンの不等式および被積分関数の比例条件を用いて、導出された不等式における等号成立条件を同定する。

実験結果

リサーチクエスチョン

• RQ1 古典的 $f$-発散度は、複数の確率測度ペア間の差異を、対称的かつ不変的かつ一般化的にどのように拡張できるか？
• RQ2 提案された混合 $f$-発散度の基本的構造的性質（たとえば、置換不変性や対称性）は何か？
• RQ3 混合 $f$-発散度に対し、凸幾何学におけるそれらと類似したアレクサンドロフ＝フェンケル型の不等式を確立できるか？
• RQ4 混合 $f$-発散度が極値に達する条件は何か？ そして、それらは基礎となる測度にどのような意味を持つのか？
• RQ5 生成関数 $f$ の凸性・凹性は、混合 $f$-発散度の挙動およびその境界にどのように影響を与えるか？

主な発見

• 混合 $f$-発散度は測度ペアの順序に対して不変であり、測度の分布に対しても対称的である。
• 混合 $f$-発散度に対してアレクサンドロフ＝フェンケル型の不等式が成り立ち、凸幾何学の古典的不等式が情報理論的発散度へと一般化されている。
• 等周型不等式が確立され、生成関数 $f$ の凸性・凹性に応じて、混合 $f$-発散度が $f(1)$ の値の積によって下限（または上限）で有界であることが示された。
• $f$ が厳密に凸または凹である場合、等周不等式における等号成立は、すべての $p_i = q_i$ が $\mu$-ほとんど everywhere に成り立つ場合にかつその場合にのみ成立し、測度ペア間の完全な類似性を示している。
• $f$ が線形関数である場合、等号成立は、すべての $a p_i + b q_i = a + b$ が $\mu$-ほとんど everywhere に成り立つ場合にかつその場合にのみ成立し、線形ケースを特徴づけている。
• $i$-番目の混合 $f$-発散度は、$f(1)$ のべき乗を含む一般化された不等式を満たし、等号成立条件は関数的および測度的整合性によって決定される。