[論文レビュー] Cumulant-free closed-form formulas for some common (dis)similarities between densities of an exponential family

Frank Nielsen, Richard Nock|arXiv (Cornell University)|Mar 5, 2020

Bayesian Methods and Mixture Models参考文献 45被引用数 4

ひとこと要約

本稿では、指数型分布族内の密度関数間の一般的な（非）類似度—Kullback-Leibler、Bhattacharyya、Hellinger、およびα-発散—について、累積関数を明示的に計算しない閉形式の公式を提示する。準加法平均と標準パrameter化を活用することで、累積関数の直接計算を回避し、部分的密度因数分解と逆パrameter写像を用いることで、従来のAPIを活用した効率的な実装が可能になる。

ABSTRACT

It is well-known that the Bhattacharyya, Hellinger, Kullback-Leibler, $α$-divergences, and Jeffreys' divergences between densities belonging to a same exponential family have generic closed-form formulas relying on the strictly convex and real-analytic cumulant function characterizing the exponential family. In this work, we report (dis)similarity formulas which bypass the explicit use of the cumulant function and highlight the role of quasi-arithmetic means and their multivariate mean operator extensions. In practice, these cumulant-free formulas are handy when implementing these (dis)similarities using legacy Application Programming Interfaces (APIs) since our method requires only to partially factorize the densities canonically of the considered exponential family.

研究の動機と目的

• 指数型分布族内の密度関数間の主要な統計的（非）類似度の閉形式表現を、累積関数を明示的に用いない形で導出すること。
• Kullback-Leibler、Bhattacharyya、Hellingerなどの発散を、標準的なソフトウェアAPIと部分的密度因数分解のみを用いて実用的に計算可能にする方法を提供すること。
• これらの（非）類似度が、自然パラメータ写像から導かれる一般化加重準加法平均を介して計算可能であることを示すこと。
• 累積関数が計算困難または利用不可である場合の、発散の代替計算経路を提供すること。

提案手法

• 指数型分布族密度関数の標準パラメータ化を用い、（非）類似度を自然パラメータ写像 θ(λ) の逆写像および関連する準加法平均作用素の形で表現する。
• 基準点 ω ∈ X を用いてBhattacharyya係数および関連発散を定式化し、p(ω;λ) を計算の基盤として利用可能にする。
• Kullback-Leibler発散の場合は、α-スケーリングBhattacharyya距離の極限表現、または加重平均の一次近似を用いて累積関数の評価を回避する。
• 累積関数を回避するため、エントロピー、モーメント、対数密度比に基づくLegendre-Fenchel双対性の定式化を用いる。
• さらに、源分布の一次モーメントと一致する s ≤ D+1 個のサンプル点 ω_i における対数密度比の重み付き和としてKL発散を表現可能にする。
• 実装は標準的なパラメトリック密度ライブラリに依存し、点ごとの評価と逆パラメータ関数を用いることで、記号的積分を回避する。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族密度関数間の一般的な（非）類似度は、累積関数を明示的に計算せずに表現可能か？
• RQ2 準加法平均をどのように用いて、Bhattacharyya や Hellinger 発散などの閉形式公式を構築できるか？
• RQ3 累積関数が計算困難な場合、Kullback-Leibler 発散の代替計算経路は何か？
• RQ4 有限個のサンプル点 ω_i を用いて、対数密度比の和としてKL発散を正確に表現できるか？

主な発見

• Bhattacharyya係数および関連発散（Hellinger、α-発散）は、サポート X 内の任意の点 ω を用いて計算可能であり、その公式は p(ω;λ) とパラメータの一般化加重準加法平均にのみ依存する。
• Kullback-Leibler 発散は、α-スケーリングBhattacharyya距離の極限として表現可能であり、記号的または数値的近似により累積関数の評価を回避できる。
• スカラーおよび多次元正規分布族においては、KL発散の和公式に必要なサンプル点 ω_i を、一次モーメントと一致させる形で明示的に構築可能である。
• KL発散は、次元 D に対して s ≤ D+1 個の点における対数密度比の和として再定式化可能であり、累積関数の評価なしに正確に計算可能である。
• Jeffreys 発散が、自然パラメータの差と十分統計量の期待値の差の内積に等しいことが示され、累積関数に依存しない形で表現可能である。