[논문 리뷰] On the Properties of Kullback-Leibler Divergence Between Gaussians.

Yufeng Zhang, Wanwei Liu외 3명|arXiv (Cornell University)|2021. 02. 10.

Statistical Mechanics and Entropy참고 문헌 18인용 수 9

한 줄 요약

이 논문은 다변량 정규분포 간의 쿨백-라이블러(KL) 발산의 성질을 조사하며, 제약 조건 하에서 비대칭 KL 발산에 대한 치수에 종속되지 않는 경계를 수립하고, 세 개의 정규분포에 대한 완화된 삼각부등식을 도출한다. 주요 기여는 유도된 모든 경계가 치수 $ n $ 에 독립적이며, 정규분포 가족 내 KL 발산의 본질적 대칭성과 안정성 성질을 드러낸다는 점이다.

ABSTRACT

Kullback-Leibler (KL) divergence is one of the most important divergence measures between probability distributions. In this paper, we investigate the properties of KL divergence between Gaussians. Firstly, for any two $n$-dimensional Gaussians $\mathcal{N}_1$ and $\mathcal{N}_2$, we find the supremum of $KL(\mathcal{N}_1||\mathcal{N}_2)$ when $KL(\mathcal{N}_2||\mathcal{N}_1)\leq \epsilon$ for $\epsilon>0$. This reveals the approximate symmetry of small KL divergence between Gaussians. We also find the infimum of $KL(\mathcal{N}_1||\mathcal{N}_2)$ when $KL(\mathcal{N}_2||\mathcal{N}_1)\geq M$ for $M>0$. Secondly, for any three $n$-dimensional Gaussians $\mathcal{N}_1, \mathcal{N}_2$ and $\mathcal{N}_3$, we find a bound of $KL(\mathcal{N}_1||\mathcal{N}_3)$ if $KL(\mathcal{N}_1||\mathcal{N}_2)$ and $KL(\mathcal{N}_2||\mathcal{N}_3)$ are bounded. This reveals that the KL divergence between Gaussians follows a relaxed triangle inequality. Importantly, all the bounds in the theorems presented in this paper are independent of the dimension $n$.

연구 동기 및 목표

• 작은 KL 발산의 대칭성 성질을 드러내기 위해 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 의 상한을 분석하는 것, 조건은 $ KL(\mathcal{N}_2||\mathcal{N}_1) \leq \epsilon $.
• 큰 발산의 행동을 특성화하기 위해 $ KL(\mathcal{N}_2||\mathcal{N}_1) \geq M $ 조건 하에서 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 의 하한을 결정하는 것.
• 세 정규분포에 대한 KL 발산 간의 완화된 삼각부등식을 수립하기 위해 $ KL(\mathcal{N}_1||\mathcal{N}_3) $ 에 대한 경계를 도출하는 것.
• 유도된 모든 경계가 치수 $ n $ 에 독립적이도록 보장하여 고차원 설정에서의 확장 가능하고 치수에 영향을 받지 않는 분석을 가능하게 하는 것.

제안 방법

• KL(\mathcal{N}_2||\mathcal{N}_1) \leq \epsilon 조건 하에서 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 의 상한을 정규분포 매개변수에 대한 분석적 최적화를 통해 유도.
• 평균과 공분산 차이의 변분 분석을 통해 $ KL(\mathcal{N}_2||\mathcal{N}_1) \geq M $ 인 경우 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 의 하한을 계산.
• KL(\mathcal{N}_1||\mathcal{N}_2) $ 과 $ KL(\mathcal{N}_2||\mathcal{N}_3) $ 에 대한 경계를 바탕으로 $ KL(\mathcal{N}_1||\mathcal{N}_3) $ 에 대한 차원에 독립적인 상한 경계를 수립하여 삼각부등식을 일반화.
• 다변량 정규분포 간 KL 발산의 닫힌 형태 표현식을 사용하여, 치수 $ n $ 에 영향을 받지 않는 경계를 도출, 경계는 오직 발산 크기와만 관련.
• 정규분포의 구조를 활용하여 모든 경계가 날카롭고 배경 치수에 영향을 받지 않도록 보장.

실험 결과

연구 질문

• RQ1 KL(\mathcal{N}_2||\mathcal{N}_1) $ 이 $ \epsilon $ 이하로 제약될 때 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 의 최대값은 얼마인가?
• RQ2 KL(\mathcal{N}_2||\mathcal{N}_1) $ 이 임계값 $ M $ 을 초과할 때 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 의 최소값은 얼마인가?
• RQ3 세 정규분포 간 KL 발산에 대해 차원에 독립적인 경계를 갖는 완화된 삼각부등식을 수립할 수 있는가?
• RQ4 다변량 정규분포 간 작은 발산과 큰 발산에서 KL 발산의 대칭성은 어떻게 행동하는가?

주요 결과

• KL(\mathcal{N}_2||\mathcal{N}_1) \leq \epsilon $ 조건 하에서 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 의 상한은 유한하고 치수에 종속되지 않으며, 작은 발산에서 근사적 대칭성을 드러낸다.
• KL(\mathcal{N}_2||\mathcal{N}_1) \geq M $ 조건 하에서 $ KL(\mathcal{N}_1||\mathcal{N}_2) $ 의 하한은 엄밀히 양수이며 치수 $ n $ 에 독립적이다.
• KL(\mathcal{N}_1||\mathcal{N}_2) $ 과 $ KL(\mathcal{N}_2||\mathcal{N}_3) $ 를 바탕으로 $ KL(\mathcal{N}_1||\mathcal{N}_3) $ 에 대한 차원에 독립적인 상한 경계가 유도되었으며, 이는 완화된 삼각부등식을 확인한다.
• 논문에서 유도된 모든 경계는 치수 $ n $ 에 독립적이며, 고차원 통계 및 기계학습 응용 분야에서의 활용이 가능하다.
• 결과적으로, KL 발산이 비대칭 제약 조건 하에서도 다변량 정규분포 간에 안정적이고 유한한 행동을 보임을 보여준다. 이는 고차원에서도 성립한다.