[論文レビュー] On the Kullback-Leibler divergence between location-scale densities

Frank Nielsen|arXiv (Cornell University)|Apr 23, 2019

Bayesian Methods and Mixture Models参考文献 12被引用数 4

ひとこと要約

本稿では、任意の2つの位置尺度族密度間のKullback-Leibler（KL）発散が、標準密度と別の族に属する変換された密度間のKL発散に還元されることを確立している。これにより、尺度族間の発散は尺度比にのみ依存することが示された。また、標準密度が偶関数である場合、位置族密度間のf-発散は対称的であることを証明し、クエリ密度から別の位置尺度族への最小f-発散がクエリのパラメータに依存しないことを示している。

ABSTRACT

We show that the $f$-divergence between any two densities of potentially different location-scale families can be reduced to the calculation of the $f$-divergence between one standard density with another location-scale density. It follows that the $f$-divergence between two scale densities depends only on the scale ratio. We then report conditions on the standard distribution to get symmetric $f$-divergences: First, we prove that all $f$-divergences between densities of a location family are symmetric whenever the standard density is even, and second, we illustrate a generic symmetric property with the calculation of the Kullback-Leibler divergence between scale Cauchy distributions. Finally, we show that the minimum $f$-divergence of any query density of a location-scale family to another location-scale family is independent of the query location-scale parameters.

研究の動機と目的

• 積分における変数変換技術を用いて、位置尺度族密度間のf-発散に関する一般恒等式を導出すること。
• 位置尺度族間のf-発散が対称的となる条件を調査すること、特に偶関数である標準密度の役割に注目すること。
• クエリ密度から別の位置尺度族への最小f-発散が、クエリの位置および尺度パラメータに依存しないことを証明すること。
• 具体的な計算を通じて、これらの恒等式の実用的応用を示すこと。特に、尺度カイ二乗分布と半正規分布族間のKL発散を明示的に計算すること。

提案手法

• 交差エントロピーおよびKL発散の積分に対して、変数変換を適用し、左および右の尺度乗算、位置変動に対応する恒等式を導出する。
• 任意の2つの位置尺度族密度間のf-発散を、別の族に属する標準密度と変換された密度間のf-発散に還元する。
• 記号計算（Maxima）を用いて、例えば半正規分布と指数分布のような尺度族間のKL発散の閉形式表現を導出する。
• 変換における対称性を活用することで、位置族密度間のf-発散が、標準密度が偶関数である場合に限り対称的であることを証明する。
• 最小f-発散問題を位置尺度変換の群作用に関する最適化問題として定式化し、クエリパラメータに対して不変であることを示す。
• 最小化問題を位置尺度多様体への情報射影として解釈し、情報幾何と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 変数変換の恒等式を用いて、任意の2つの位置尺度族密度間のf-発散をどのように簡略化できるか？
• RQ2 位置族の2つの密度間のKL発散が対称的となる条件は何か？
• RQ3 なぜ尺度族間のKL発散が尺度比にのみ依存するのか？
• RQ4 クエリ密度からターゲットの位置尺度族への最小f-発散は、クエリパラメータに対してどのように振る舞うか？
• RQ5 カイ二乗分布や半正規分布のような特定の尺度族に対して、KL発散の閉形式表現を導出できるか？

主な発見

• 任意の2つの位置尺度族密度間のf-発散は、別の族に属する標準密度と変換された密度間のf-発散に還元され、計算が著しく簡素化される。
• 尺度族間のKL発散は、その尺度パラメータの比にのみ依存し、位置には依存しない。
• 標準密度が偶関数である場合、位置族密度間のすべてのf-発散は対称的である。
• 尺度カイ二乗分布間のKL発散は、明示的な計算により対称的であることが確認された。
• クエリ密度からターゲットの位置尺度族への最小f-発散は、クエリの位置および尺度パラメータに依存せず、標準密度にのみ依存する。
• 半正規分布と指数分布の尺度族に対して、KL発散は $\mathrm{KL}(p_{s_1}:q_{s_2}) = \sqrt{\frac{2}{\pi}}r - \log r + \log\sqrt{\frac{2}{\pi}} - \frac{1}{2} $ で与えられ、ここで $ r = \frac{s_1}{s_2} $ であり、$ r = \sqrt{\frac{\pi}{2}} $ で最小化される。