[論文レビュー] A Note on the Kullback-Leibler Divergence for the von Mises-Fisher distribution

Tom Diethe|arXiv (Cornell University)|Feb 25, 2015

Bayesian Methods and Mixture Models参考文献 7被引用数 5

ひとこと要約

この論文は、d次元の超球面上のボン・ミーゼス＝フォイシャー（vMF）分布のカルバック・ライブラー（KL）発散を導出し、2つのvMF分布間のKL発散の閉形式表現を提供するとともに、一様事前分布の場合の簡略化された形を提示している。導出は修正ベッセル関数および正規化定数の性質を利用しており、方向統計および球面上のベイズ推論における効率的な計算を可能にする。

ABSTRACT

We present a derivation of the Kullback Leibler (KL)-Divergence (also known as Relative Entropy) for the von Mises Fisher (VMF) Distribution in $d$-dimensions.

研究の動機と目的

• d次元の超球面上の2つのボン・ミーゼス＝フォイシャー（vMF）分布間のカルバック・ライブラー（KL）発散を導出すること。
• 超球面上の一様事前分布の場合のKL発散の式を簡略化すること。
• 方向データを扱うベイズ推論および機械学習の応用におけるKL発散の効率的計算を可能にすること。
• 修正ベッセル関数やガンマ関数などの特殊関数を用いた数学的に厳密な導出を提供すること。

提案手法

• 異なる集中パラメータおよび平均方向を持つ2つのvMF分布間の相対エントロピーの積分定義を用いてKL発散を導出する。
• 正規化定数を第一種修正ベッセル関数 $ I_{d/2-1}( heta) $ を用いて表現し、ガンマ関数と関連付ける。
• 対数項の簡略化に、指数積分および不完全ガンマ関数を含む積分恒等式を適用する。
• 正規化項を処理するために恒等式 $ \int_{-1}^{1}(1-t)^{d}e^{t\kappa} = -2^{d-1}E_{-d}(2\kappa)e^{\kappa} $ を用いる。
• 事後分布vMFにおける $ \mathbf{x} $ の期待値がその平均方向 $ \boldsymbol{\mu}_q $ に一致することを活用して式を簡略化する。
• 事前分布が一様（すなわち $ \kappa_p \to 0 $）の場合のKL発散に対して、$ \mathrm{KL}(q||p) = \kappa_q - \frac{d-1}{2}\log 2 $ という簡潔な形を導出する。

実験結果

リサーチクエスチョン

• RQ1 d次元の超球面上の2つのボン・ミーゼス＝フォイシャー分布間のKL発散の閉形式表現は何か？
• RQ2 超球面上の一様事前分布の場合、KL発散はどのように簡略化されるか？
• RQ3 修正ベッセル関数およびガンマ関数は、正規化および発散計算においてどのような役割を果たすか？
• RQ4 高次元において、集中パラメータ $ \kappa $ が小さくおよび大きく変化する場合、KL発散はどのように振る舞うか？
• RQ5 導出されたKL発散は、方向データに対するPACベイズ一般化境界の構築に有効に利用できるか？

主な発見

• 2つのvMF分布間のKL発散は、$ \kappa_q - \kappa_p \boldsymbol{\mu}_p^T \boldsymbol{\mu}_q + \frac{d-1}{2}\log \kappa_q + \sum_{m=1}^{(d-3)/2} \frac{\kappa_q^m}{m!} - \frac{(d-1)^2}{4}\log \kappa_p + \frac{d-3}{2} \left(\frac{d-3}{2} + 1\right) \log \left(\frac{d-3}{2}\right) - \left(\frac{d-3}{2}\right)^2 + 1 $ として導出され、これは奇数の $ d $ に対して有効である。
• 一様事前分布（$ \kappa_p \to 0 $）の特別な場合、KL発散は $ \kappa_q - \frac{d-1}{2}\log 2 $ に簡略化され、計算の複雑さが著しく低減される。
• 導出は、指数積分および修正ベッセル関数を含む積分恒等式に依存しており、特に $ \int_{-1}^{1}(1-t)^d e^{t\kappa} dt $ を用いて正規化項を処理する。
• 項 $ \sum_{m=1}^{(d-3)/2} \frac{\kappa_q^m}{m!} $ は $ \kappa_q $ および次元 $ d $ と共に増加するため、$ \kappa_q $ が大きい場合には数値的不安定性が生じる可能性がある。
• $ \kappa_q $ および $ \kappa_p $ への依存性は良好であり、一様事前分布下での簡略化された形はPACベイズ一般化境界への応用に適している。
• 結果は奇数の $ d $ に対して有効であり、偶数の $ d $ については余分な次元を追加することで導出構造を保ったまま処理できる。