[論文レビュー] On a generalization of the Jensen-Shannon divergence and the JS-symmetrization of distances relying on abstract means

Frank Nielsen|arXiv (Cornell University)|Apr 8, 2019

Statistical Mechanics and Entropy参考文献 65被引用数 28

ひとこと要約

本稿では、抽象的平均を用いてジェンセン・シャノン発散を一般化し、指数族およびスケール族の確率分布間の発散に対して閉形式の表現を可能にする。指数族に対しては幾何平均、カウチスケール族に対しては調和平均を活用することで、解析的に取り扱える新しい対称化発散を導出する。

ABSTRACT

The Jensen-Shannon divergence is a renown bounded symmetrization of the unbounded Kullback-Leibler divergence which measures the total Kullback-Leibler divergence to the average mixture distribution. However the Jensen-Shannon divergence between Gaussian distributions is not available in closed-form. To bypass this problem, we present a generalization of the Jensen-Shannon (JS) divergence using abstract means which yields closed-form expressions when the mean is chosen according to the parametric family of distributions. More generally, we define the JS-symmetrizations of any distance using generalized statistical mixtures derived from abstract means. In particular, we first show that the geometric mean is well-suited for exponential families, and report two closed-form formula for (i) the geometric Jensen-Shannon divergence between probability densities of the same exponential family, and (ii) the geometric JS-symmetrization of the reverse Kullback-Leibler divergence. As a second illustrating example, we show that the harmonic mean is well-suited for the scale Cauchy distributions, and report a closed-form formula for the harmonic Jensen-Shannon divergence between scale Cauchy distributions. We also define generalized Jensen-Shannon divergences between matrices (e.g., quantum Jensen-Shannon divergences) and consider clustering with respect to these novel Jensen-Shannon divergences.

研究の動機と目的

• ガウス分布および他の指数族分布間のジェンセン・シャノン発散に対して、閉形式表現が存在しないという問題を解決すること。
• Kullback-Leibler 発散や逆KL発散を含む任意の発散を対称化するため、抽象的平均（例えば幾何平均、調和平均）を用いてJS発散を一般化すること。
• 統計的族がM混合に関して閉じるための条件を確立し、解析的取り扱いの可能性を高めること。
• 特に量子情報および行列クラスタリングに向けた行列発散へとフレームワークを拡張すること。
• 一般化平均を用いた統一的な非対称発散の対称化メカニズムを提供すること。

提案手法

• 統計的M混合と対称化平均Nを組み合わせることで、$(M,N)$-ジェンセン・シャノン発散を導入する。
• 準加法的および抽象的重み付き平均（例えば幾何平均、調和平均）を用いて、パrametric族の閉じる性質を保つM混合を定義する。
• 累加関数$F$とBregman発散$B_F^*$を用いて、指数族における幾何JS発散の閉形式表現を導出する。
• スケールカウチ族に対しては調和平均を適用し、スケールパラメータの幾何平均を含む閉形式の調和JS発散を得る。
• 対称正定値行列のための行列M-ジェンセン・シャノン発散を、行列平均およびlogdetなどの発散を用いて定義する。
• $N_{\beta}$平均を用いたスケーリング対称化を提案し、非対称および非対称な発散へとJSフレームワークを一般化する。

実験結果

リサーチクエスチョン

• RQ1 指数族分布、特にガウス分布に対して、ジェンセン・シャノン発散を閉形式表現が得られるように一般化できるか？
• RQ2 どの抽象的平均（例えば幾何平均、調和平均）がM混合に関してパラメトリック族を閉じるかを保証するか？
• RQ3 KL発散を超える任意の基本発散に対して、JS対称化フレームワークをどのように拡張できるか？
• RQ4 行列値分布に対するM-ジェンセン・シャノン発散の構造は何か？また、量子情報発散とどのように関係するか？
• RQ5 重み付き平均を用いたスケーリング対称化は、より柔軟かつ数値的に安定した発散をもたらすか？

主な発見

• 同じ指数族に属する密度関数間の幾何JS発散は、$\mathrm{JS}^{G_{\alpha}}[p_{\theta_1}:p_{\theta_2}] = \exp(-J_F^\alpha(\theta_1:\theta_2))$ で与えられ、ここで$J_F^\alpha$は累加関数の$\alpha$-発散である。
• 逆Kullback-Leibler発散に対して、幾何JS対称化は$\mathrm{JS}^{G_{\alpha}}[p_{\theta_1}:p_{\theta_2}] = J_F^\alpha(\theta_1:\theta_2)$ を与え、閉形式の対称化を実現する。
• スケールカウチ分布に対しては、調和平均が閉形式の調和JS発散を導く：$Z_{\alpha}^H(\theta_1:\theta_2) = \sqrt{\frac{\theta_1\theta_2}{(\theta_1\theta_2)_\alpha (\theta_1\theta_2)_{1-\alpha}}}$。
• 本フレームワークは行列発散へと一般化可能であり、行列平均$M$に対して$\mathrm{JS}_D^M(X_1,X_2) = \frac{1}{2}(D(X_1,M(X_1,X_2)) + D(X_2,M(X_1,X_2)))$ を定義する。
• $N_\beta$-ジェフリーズ対称化$J^{N_\beta}_D(p_1:p_2) = N_\beta(D(p_1:p_2), D(p_2:p_1))$ は、対称平均を超えた対称化を一般化する。
• 本稿では、幾何平均が指数族に適しており、調和平均がスケールカウチ族に適していることが確立され、M混合の閉じる性質が保証される。