[논문 리뷰] Independent Gaussian Distributions Minimize the Kullback-Leibler (KL) Divergence from Independent Gaussian Distributions

Song Fang, Quanyan Zhu|arXiv (Cornell University)|2020. 11. 04.

Statistical Mechanics and Entropy참고 문헌 8인용 수 8

한 줄 요약

이 논문은 동일한 균일 분산을 가진 모든 분포 중에서 독립 정규 분포가 주어진 독립 정규 분포로부터의 쿨백-라이블러(KL) 발산을 최소화함을 입증한다. 핵심 결과는 목표 분포가 또한 정규 분포이고 상관이 없을 때 KL 발산이 최소가 되며, 최소값이 대각 행렬 형태의 공분산 행렬을 통해 표현될 수 있음을 보여준다. 이는 다변량 정규 분포 발산 공식에서 흔적(trace)과 행렬식(determinant)의 성질을 활용한 것이다.

ABSTRACT

This short note is on a property of the Kullback-Leibler (KL) divergence which indicates that independent Gaussian distributions minimize the KL divergence from given independent Gaussian distributions. The primary purpose of this note is for the referencing of papers that need to make use of this property entirely or partially.

연구 동기 및 목표

• KL 발산이 독립 정규 분포와 관련하여 가지는 기본 성질을 입증하기 위해.
• 주어진 독립 정규 분포로부터의 KL 발산이 모든 가능한 분포 중에서 독립 정규 분포가 최소가 되도록 보여주기 위해.
• 정보 이론, 기계 학습 또는 제어 이론 분야에서 향후 연구에 필요한 이 최소화 성질을 참조로 제공하기 위해.
• 모든 균일 분산과 공분산 행렬을 기반으로 최소 KL 발산의 명시적 표현을 유도하기 위해.
• 최소값이 목표 분포가 정규 분포이고 상관이 없을 때에만 유일하게 도달됨을 증명하기 위해.

제안 방법

• 증명은 제1보조정리에 기반하며, 이는 중심이 0인 정규 벡터 간의 KL 발산을 공분산 행렬의 흔적과 로그 행렬식을 통해 표현한다.
• 제2제안은 동일한 공분산을 가진 모든 분포 중에서 정규 분포가 주어진 정규 분포로부터 KL 발산을 최소화함을 보여준다.
• 제3제안은 대각 공분산을 가진 정규 분포로부터의 KL 발산이 각 균일 분포의 KL 발산 합으로부터 아래bound됨을 확립한다.
• 제4제안은 KL 발산의 흔치와 로그 행렬식 항이 목표 공분산이 대각 행렬일 때 최소가 됨을 보여주는 행렬 부등식을 제공한다.
• 주요 결과는 제2, 3, 4제안을 통합하여 도출되며, 등호가 성립하는 경우는 목표 분포가 정규 분포이고 상관이 없을 때에만 성립함을 보여준다.
• 유도 과정은 정규 분포 가족 내에서 KL 발산의 볼록성과 양의 정부호 행렬의 성질을 활용한다.

실험 결과

연구 질문

• RQ1 주어진 독립 정규 분포로부터의 KL 발산이 동일한 균일 분산을 가진 모든 가능한 분포 중에서 최소가 되는가?
• RQ2 목표 분포가 정규 분포이고 상관이 없을 때 KL 발산이 최소가 되는 조건은 무엇인가?
• RQ3 최소 KL 발산을 균일 분산과 공분산 행렬을 기반으로 명시적으로 표현할 수 있는가?
• RQ4 최소값이 목표 분포가 정규 분포이고 공분산 행렬이 대각 행렬일 때에만 유일하게 도달하는가?
• RQ5 다변량 정규 분포의 경우 KL 발산 최소화를 뒷받침하는 행렬 부등식은 무엇인가?

주요 결과

• 주어진 독립 정규 분포로부터의 KL 발산은 목표 분포가 또한 정규 분포이고 상관이 없을 때 최소가 된다.
• 최소 KL 발산은 각 균일 구성요소에 대한 스칼라 KL 발산의 합으로 주어지며, 다음 식으로 표현된다: $ \frac{1}{2} \sum_{i=1}^m \left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} - \ln\left(\frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2}\right) - 1 \right) $.
• 최소화에서 등호가 성립하는 것은 목표 분포 $ \mathbf{y} $가 정규 분포이고 그 공분산 행렬 $ \Sigma_{\mathbf{y}} $가 대각 행렬일 때에만 성립한다.
• KL 발산 식 $ \frac{1}{2} \left[ \mathrm{tr}(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - \ln\det(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - m \right] $ 는 항상 균일 발산의 합보다 크거나 같으며, 등호가 성립하는 경우는 $ \Sigma_{\mathbf{y}} $가 대각 행렬일 때에만 성립한다.
• 모든 양의 정부호 $ \Sigma_{\mathbf{y}} $에 대해 다음 행렬 부등식이 성립하며, 등호는 $ \Sigma_{\mathbf{y}} $가 대각 행렬일 때에만 성립한다: $ \mathrm{tr}(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) - \ln\det(\Sigma_{\mathbf{y}} \Sigma_{\mathbf{x}}^{-1}) \geq \sum_{i=1}^m \left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} \right) - \sum_{i=1}^m \ln\left( \frac{\sigma_{\mathbf{y}(i)}^2}{\sigma_{\mathbf{x}(i)}^2} \right) $.