[論文レビュー] Independent Gaussian Distributions Minimize the Kullback-Leibler (KL) Divergence from Independent Gaussian Distributions

Song Fang, Quanyan Zhu|arXiv (Cornell University)|Nov 4, 2020

Statistical Mechanics and Entropy参考文献 8被引用数 8

ひとこと要約

本稿では、同じ周辺分散を持つすべての分布の中で、独立したガウス分布が与えられた独立ガウス分布からのKullback-Leibler（KL）発散を最小化することを確立する。主な結果は、目的分布がガウス分布であり、かつ相関がない場合にKL発散が最小化されることを示しており、最小値はトレースと行列式の性質を用いて対角共分散行列の形で表現可能である。多変量ガウス分布の発散式において、トレースと行列式の性質が活用されている。

ABSTRACT

This short note is on a property of the Kullback-Leibler (KL) divergence which indicates that independent Gaussian distributions minimize the KL divergence from given independent Gaussian distributions. The primary purpose of this note is for the referencing of papers that need to make use of this property entirely or partially.

研究の動機と目的

• KL発散が独立ガウス分布を含む基本的性質を確立すること。
• 与えられた独立ガウス分布からのKL発散が、独立ガウス分布によって最小化されることを示すこと。
• 情報理論、機械学習、制御理論の分野で今後の研究においてこの最小化性質を必要とする文脈における基盤を提供すること。
• 周辺分散および共分散行列を用いて最小KL発散の明示的表現を導出すること。
• 最小値が、目的分布がガウス分布であり、かつ非相関（共分散行列が対角）である場合にのみ達成されることを証明すること。

提案手法

• 証明は、ゼロ平均ガウスベクトル間のKL発散が共分散行列のトレースおよび対数行列式を用いて表現されるという補題1に依拠する。
• 命題2は、同じ共分散を持つすべての分布の中で、ガウス分布が与えられたガウス分布からのKL発散を最小化することを示す。
• 命題3は、対角共分散を持つガウス分布からのKL発散が、周辺KL発散の和によって下から抑えられることを確立する。
• 命題4は、KL発散におけるトレースおよび対数行列式の項が、目的共分散行列が対角である場合に最小化されることを示す行列不等式を提供する。
• 主な結果は、命題2、3、4を組み合わせることで得られ、等号が成立するのは目的分布がガウス分布であり、かつ非相関である場合に限る。
• 導出には、正定値行列の性質およびガウス族におけるKL発散の凸性が用いられる。

実験結果

リサーチクエスチョン

• RQ1 与えられた独立ガウス分布からのKL発散は、同じ周辺分散を持つすべての分布の中で最小値をとるか？
• RQ2 目的分布がガウス分布であり、かつ非相関である場合に、KL発散が最小化される条件は何か？
• RQ3 最小KL発散を周辺分散および共分散行列を用いて明示的に表現できるか？
• RQ4 最小値が、目的分布がガウス分布であり、共分散行列が対角である場合にのみ達成されるか？
• RQ5 多変量ガウス分布の場合のKL発散の最小化を裏付ける行列不等式は何か？

主な発見

• 与えられた独立ガウス分布からのKL発散は、目的分布がガウス分布であり、かつ非相関である場合に最小化される。
• 最小KL発散は、各周辺成分におけるスカラーKL発散の和として与えられ、$ \frac{1}{2} \sum_{i=1}^m \left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} - \ln\left(\frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2}\right) - 1 \right) $ と表現される。
• 最小化における等号が成り立つのは、目的分布 $ \mathbf{y} $ がガウス分布であり、その共分散行列 $ \Sigma_{\mathbf{y}} $ が対角である場合に限る。
• KL発散の式 $ \frac{1}{2} \left[ \mathrm{tr}(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - \ln\det(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - m \right] $ は、常に周辺発散の和以上であり、等号が成り立つのは $ \Sigma_{\mathbf{y}} $ が対角である場合に限る。
• すべての正定値 $ \Sigma_{\mathbf{y}} $ に対して、行列不等式 $ \mathrm{tr}(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - \ln\det(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) \geq \sum_{i=1}^m \left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} \right) - \sum_{i=1}^m \ln\left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} \right) $ が成り立ち、等号が成り立つのは $ \Sigma_{\mathbf{y}} $ が対角である場合に限る。