[论文解读] Independent Gaussian Distributions Minimize the Kullback-Leibler (KL) Divergence from Independent Gaussian Distributions

Song Fang, Quanyan Zhu|arXiv (Cornell University)|Nov 4, 2020

Statistical Mechanics and Entropy参考文献 8被引用 8

一句话总结

该论文证明，在所有具有相同边缘方差的分布中，独立高斯分布相对于给定的独立高斯分布，其Kullback-Leibler（KL）散度最小。核心结果表明，当目标分布也为高斯分布且不相关时，KL散度达到最小值，且该最小值可表示为对角线协方差矩阵的函数，利用了多元高斯分布KL散度公式中迹与行列式的性质。

ABSTRACT

This short note is on a property of the Kullback-Leibler (KL) divergence which indicates that independent Gaussian distributions minimize the KL divergence from given independent Gaussian distributions. The primary purpose of this note is for the referencing of papers that need to make use of this property entirely or partially.

研究动机与目标

• 建立涉及独立高斯分布的KL散度的基本性质。
• 证明独立高斯分布在给定独立高斯分布下最小化KL散度。
• 为未来在信息论、机器学习或控制理论中需要此最小化性质的研究提供参考。
• 推导最小KL散度在边缘方差和协方差矩阵方面的显式表达式。
• 证明当目标分布为高斯分布且不相关时，最小值唯一实现。

提出的方法

• 证明依赖于引理1，该引理通过协方差矩阵的迹与对数行列式表达零均值高斯向量之间的KL散度。
• 命题2表明，在所有具有相同协方差的分布中，高斯分布相对于给定高斯分布的KL散度最小。
• 命题3建立：从对角线协方差高斯分布出发的KL散度，其下界为各边缘分量KL散度之和。
• 命题4提供一个矩阵不等式，表明KL散度中的迹与对数行列式项在目标协方差为对角矩阵时最小化。
• 通过结合命题2、3和4推导出主要结果，表明等式仅在目标分布为高斯分布且不相关时成立。
• 推导过程利用了正定矩阵的性质以及高斯族背景下KL散度的凸性。

实验结果

研究问题

• RQ1 相对于给定的独立高斯分布，KL散度是否在所有具有相同边缘方差的分布中取得最小值？
• RQ2 在何种条件下，当目标分布为高斯分布且不相关时，KL散度达到最小？
• RQ3 最小KL散度能否显式表示为边缘方差和协方差矩阵的函数？
• RQ4 当目标分布为高斯分布且协方差矩阵为对角矩阵时，最小值是否唯一实现？
• RQ5 在多元高斯情况下，KL散度最小化的背后矩阵不等式是什么？

主要发现

• 相对于给定的独立高斯分布，KL散度在目标分布也为高斯分布且不相关时达到最小值。
• 最小KL散度由各边缘分量的标量KL散度之和给出，表达式为 $ \frac{1}{2} \sum_{i=1}^m \left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} - \ln\left(\frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2}\right) - 1 \right) $。
• 最小化中的等式成立当且仅当目标分布 $ \mathbf{y} $ 为高斯分布且其协方差矩阵 $ \Sigma_{\mathbf{y}} $ 为对角矩阵。
• KL散度表达式 $ \frac{1}{2} \left[ \mathrm{tr}(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - \ln\det(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - m \right] $ 始终大于或等于边缘散度之和，等式成立当且仅当 $ \Sigma_{\mathbf{y}} $ 为对角矩阵。
• 矩阵不等式 $ \mathrm{tr}(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - \ln\det(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) \geq \sum_{i=1}^m \left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} \right) - \sum_{i=1}^m \ln\left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} \right) $ 对所有正定 $ \Sigma_{\mathbf{y}} $ 成立，等式成立当且仅当 $ \Sigma_{\mathbf{y}} $ 为对角矩阵。