[論文レビュー] On the Kullback-Leibler divergence between discrete normal distributions

Frank Nielsen|arXiv (Cornell University)|Jan 1, 2021

Statistical Mechanics and Entropy参考文献 45被引用数 1

ひとこと要約

本稿では、リーマンシータ関数と射影的γ-発散度を用いて、整数格子上の離散正規分布間のカルバック・ライブラー（KL）発散度の閉形式式および効率的な近似手法を提示する。高次元格子ガウスモデルにおける統計的発散度の正確でスケーラブルな計算を可能にし、主な結果として、γ ≈ 1 のγ-発散度が、シータ楕円体上での有限格子和を用いてKL発散度をタイトに近似することを示している。

ABSTRACT

Discrete normal distributions are defined as the distributions with prescribed means and covariance matrices which maximize entropy on the integer lattice support. The set of discrete normal distributions form an exponential family with cumulant function related to the Riemann theta function. In this paper, we present several formula for common statistical divergences between discrete normal distributions including the Kullback-Leibler divergence. In particular, we describe an efficient approximation technique for calculating the Kullback-Leibler divergence between discrete normal distributions via the Rényi $α$-divergences or the projective $γ$-divergences.

研究の動機と目的

• 整数格子上の離散正規分布間の統計的発散度、特にカルバック・ライブラー発散度の閉形式表現を導出すること。
• 格子ガウス分布のモーメント母関数とシーゲル上半空間上のリーマンシータ関数との間の関係を確立すること。
• 射影的γ-発散度とシータ楕円体上での有限和を用いたKL発散度の数値的に効率的な近似手法を開発すること。
• 正確な正規化が困難な高次元格子ガウスモデルにおけるスケーラブルな統計的推論を可能にすること。

提案手法

• 自然パラメータが累積モーメント関数を介してリーマンシータ関数と関連する整数格子上での指数型分布族として離散正規分布を定式化する。
• シータ関数 θΛ(ξ) を用いて、KL発散度、Rényi α-発散度、Sharma-Mittal 発散度、および γ-発散度の正確な閉形式表現を導出する。
• 無限和をシータ楕円体 Eξ および Eξ′ 内の有限和に置き換えることで、γ ≈ 1 のγ-発散度を用いたKL発散度の効率的近似を提案する。
• シータ楕円体を計算的に取り扱いやすい領域として用い、分割関数の近似および未正規化密度の正規化に活用する。
• γ-発散度の射影的不変性を活用して正規化定数を排除し、未正規化密度から直接計算を可能にする。
• 数値例による検証を行い、有限格子サンプリングを用いて高次元におけるスケーラビリティを示している。

実験結果

リサーチクエスチョン

• RQ1 整数格子上の2つの離散正規分布間のカルバック・ライブラー発散度は、特殊関数を用いて閉形式で表現可能か？
• RQ2 格子ガウスモデルにおける正規化定数が計算不能である場合、発散度計算にどのように対処できるか？
• RQ3 格子ガウス分布において、γ → 1 の極限でγ-発散度がKL発散度をどの程度よく近似できるか？
• RQ4 高次元設定において、和をシータ楕円体に制限した場合の計算的影響は何か？
• RQ5 Cauchy-Schwarz 発散度やγ-発散度といった射影的発散度は、格子ガウス分布に対して閉形式で表現可能か？

主な発見

• 2つの格子ガウス分布間のカルバック・ライブラー発散度は、リーマンシータ関数を用いて閉形式で表現可能である：DKL[pξ : pξ′] = log(θΛ(ξ′)/θΛ(ξ)) − 2πμ⊤(ξ′₁ − ξ₁) + π tr((ξ′₂ − ξ₂)(Σ + μμ⊤))。
• γ-発散度は正確な閉形式表現を持つ：Dγ[pξ : pξ′] = 1/(γ(γ−1)) log( θΛ(γξ) θΛ(γξ′)γ−1 / θΛ(ξ + (γ−1)ξ′)γ )。
• γ ≈ 1（例：γ = 1 + 10⁻⁵）のとき、γ-発散度はKL発散度に漸近的に収束し、正確な近似が可能である。
• シータ楕円体 Rξ,ξ′ 上での有限和によるKL発散度の近似は、高次元においてもスケーラブルかつ正確な推定を可能にする。
• 格子ガウス分布間のCauchy-Schwarz 発散度は、DCS[pξ : pξ′] = log(√(θΛ(2ξ)θΛ(2ξ′)) / θΛ(ξ+ξ′)) で与えられる。
• 数値実験により、本手法の正確性と効率性が確認され、特に和の領域をシータ楕円体で制限した場合に顕著である。