[論文レビュー] On the Properties of Kullback-Leibler Divergence Between Gaussians.

Yufeng Zhang, Wanwei Liu+3 more|arXiv (Cornell University)|Feb 10, 2021

Statistical Mechanics and Entropy参考文献 18被引用数 9

ひとこと要約

本稿は、多変量正規分布間のカルバック・ライバラー（KL）ダイバージェンスの性質を調査し、制約下での非対称KLダイバージェンスに対する次元に依存しない上限を確立し、3つの正規分布に対して緩い三角不等式を導出する。主な貢献は、導出されたすべての上限が次元 $ n $ に依存しないことであり、正規分布族におけるKLダイバージェンスの内因的な対称性および安定性の性質を明らかにする。

ABSTRACT

Kullback-Leibler (KL) divergence is one of the most important divergence measures between probability distributions. In this paper, we investigate the properties of KL divergence between Gaussians. Firstly, for any two $n$-dimensional Gaussians $\mathcal{N}_1$ and $\mathcal{N}_2$, we find the supremum of $KL(\mathcal{N}_1||\mathcal{N}_2)$ when $KL(\mathcal{N}_2||\mathcal{N}_1)\leq \epsilon$ for $\epsilon>0$. This reveals the approximate symmetry of small KL divergence between Gaussians. We also find the infimum of $KL(\mathcal{N}_1||\mathcal{N}_2)$ when $KL(\mathcal{N}_2||\mathcal{N}_1)\geq M$ for $M>0$. Secondly, for any three $n$-dimensional Gaussians $\mathcal{N}_1, \mathcal{N}_2$ and $\mathcal{N}_3$, we find a bound of $KL(\mathcal{N}_1||\mathcal{N}_3)$ if $KL(\mathcal{N}_1||\mathcal{N}_2)$ and $KL(\mathcal{N}_2||\mathcal{N}_3)$ are bounded. This reveals that the KL divergence between Gaussians follows a relaxed triangle inequality. Importantly, all the bounds in the theorems presented in this paper are independent of the dimension $n$.

研究の動機と目的

• KL(\mathcal{N}_1||\mathcal{N}_2) の上界を、KL(\mathcal{N}_2||\mathcal{N}_1) \leq \epsilon の制約下で分析し、小さなKLダイバージェンスの対称性の性質を明らかにする。
• KL(\mathcal{N}_2||\mathcal{N}_1) \geq M の制約下で、KL(\mathcal{N}_1||\mathcal{N}_2) の下界を特定し、大きなダイバージェンスの挙動を特徴付ける。
• KL(\mathcal{N}_1||\mathcal{N}_2) および KL(\mathcal{N}_2||\mathcal{N}_3) の上限が与えられたもとで、KL(\mathcal{N}_1||\mathcal{N}_3) の上限を導出し、正規分布のKLダイバージェンスに対する緩い三角不等式を確立する。
• 導出されたすべての上限が次元 $ n $ に依存しないように保証し、高次元設定におけるスケーラブルで次元に依存しない解析を可能にする。

提案手法

• 正規分布のパラメータに関する解析的最適化を用いて、KL(\mathcal{N}_2||\mathcal{N}_1) \leq \epsilon の制約下でのKL(\mathcal{N}_1||\mathcal{N}_2) の上界を導出する。
• 平均および分散の差の変分解析を用いて、KL(\mathcal{N}_2||\mathcal{N}_1) \geq M の場合のKL(\mathcal{N}_1||\mathcal{N}_2) の下界を計算する。
• KL(\mathcal{N}_1||\mathcal{N}_2) および KL(\mathcal{N}_2||\mathcal{N}_3) の上限を用いて、KL(\mathcal{N}_1||\mathcal{N}_3) の次元に依存しない上界を確立し、三角不等式を一般化する。
• 多変量正規分布間のKLダイバージェンスの閉形式表現を活用し、次元 $ n $ に依存しないが、ダイバージェンスの大きさにのみ依存する上限を導出する。
• 正規分布の構造を活用して、すべての上限がタイトであり、環境次元に依存しないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 KL(\mathcal{N}_2||\mathcal{N}_1) が $ \epsilon $ で制限されるとき、KL(\mathcal{N}_1||\mathcal{N}_2) の最大値は何か？
• RQ2 KL(\mathcal{N}_2||\mathcal{N}_1) が閾値 $ M $ を超えるとき、KL(\mathcal{N}_1||\mathcal{N}_2) の最小値は何か？
• RQ3 3つの正規分布間のKLダイバージェンスに対して、次元に依存しない上限を持つ緩い三角不等式を確立できるか？
• RQ4 多変量正規分布間のKLダイバージェンスの対称性は、小さなダイバージェンスおよび大きなダイバージェンスの状況でどのように振る舞うか？

主な発見

• KL(\mathcal{N}_2||\mathcal{N}_1) \leq \epsilon の制約下でのKL(\mathcal{N}_1||\mathcal{N}_2) の上界は、有界であり次元に依存しない。これは、小さなダイバージェンスにおいて近似的な対称性が成立することを示唆する。
• KL(\mathcal{N}_2||\mathcal{N}_1) \geq M の場合のKL(\mathcal{N}_1||\mathcal{N}_2) の下界は、0より大きく、かつ次元 $ n $ に依存しない。
• KL(\mathcal{N}_1||\mathcal{N}_2) および KL(\mathcal{N}_2||\mathcal{N}_3) の上限を用いて、KL(\mathcal{N}_1||\mathcal{N}_3) の次元に依存しない上界が導出され、緩い三角不等式の妥当性が確認された。
• 本稿で導出されたすべての上限は次元 $ n $ に依存せず、高次元の統計的および機械学習の応用において利用可能である。
• 結果は、KLダイバージェンスが、非対称な制約下でも、高次元においても安定的かつ有界な挙動を示すことを示している。