[논문 리뷰] Notes on Kullback-Leibler Divergence and Likelihood

Jonathon Shlens|arXiv (Cornell University)|2014. 04. 08.

Neural Networks and Applications인용 수 69

한 줄 요약

이 논문은 Kullback-Leibler (KL) 발산과 우도 이론 사이의 직접적인 연결을 확립하며, 무한한 관측 수의 극한에서 KL 발산이 평균 다항우도의 음의 로그로 나타남을 보여준다. 이는 진짜 분포 p 하에서 모델 분포 q 가 관측된 데이터를 얼마나 잘 설명하는지 측정하는 척도로 KL 발산을 프레임워크화하여 직관적인 통찰을 제공한다.

ABSTRACT

The Kullback-Leibler (KL) divergence is a fundamental equation of information theory that quantifies the proximity of two probability distributions. Although difficult to understand by examining the equation, an intuition and understanding of the KL divergence arises from its intimate relationship with likelihood theory. We discuss how KL divergence arises from likelihood theory in an attempt to provide some intuition and reserve a rigorous (but rather simple) derivation for the appendix. Finally, we comment on recent applications of KL divergence in the neural coding literature and highlight its natural application.

연구 동기 및 목표

• 형식적 정의에만 의존하지 않고, 우도 이론과의 연결을 통해 Kullback-Leibler (KL) 발산에 대한 직관적인 이해를 제공하는 것.
• 무한 표본 근처에서 KL 발산이 수학적으로 평균 우도의 음의 로그와 동일시됨을 보여주는 것.
• 조합론과 스타링의 근사법에 기반한 유도를 통해 통계적 추론과 정보 이론에서 KL 발산의 역할를 명확히 하는 것.
• 특히 신경 코딩에서 뉴런 간의 종속성과 상관관계를 측정하는 데 KL 발산이 어떻게 관련되는지 강조하는 것.

제안 방법

• 표본 크기 n에 관계없이 유효한 척도 불변 측정 척도인 평균 다항우도 $\bar{L} = L(c|q)^{1/n}$ 를 유도한다.
• 다항우도 표현의 로그를 단순화하기 위해 스타링의 근사법 $\log n! \approx n\log n - n$ 을 적용한다.
• 정규화된 히스토그램 빈도 $c_i/n$ 을 경험 분포 $p_i$ 로 대체하여 $\bar{L} = -\sum_i p_i \log p_i + \sum_i p_i \log q_i$ 를 도출한다.
• 유도된 식이 $-D_{\text{KL}}(p \| q)$ 로 식별되며, 따라서 $D_{\text{KL}}(p \| q) = \lim_{n\to\infty} -\frac{1}{n} \log L(c|q)$ 를 보여준다.
• 다항우도의 정규화 상수가 엔트로피 항 $-\sum_i p_i \log p_i$ 를 유도함을 보여주며, 조합론과 정보 이론을 연결한다.
• 유도된 관계를 활용해 KL 발산을 모델 q 가 진짜 분포 p 를 기술할 때 발생하는 '코딩 비용' 또는 '우도 부족'으로 해석한다.

실험 결과

연구 질문

• RQ1 Kullback-Leibler 발산은 통계 모델 하에서 관측된 데이터의 우도와 어떻게 관련되어 있는가?
• RQ2 KL 발산은 비대칭인 이유는 무엇이며, 이는 모델 선택과 정보 손실에 대해 어떤 의미를 갖는가?
• RQ3 평균 다항우도의 渐近적 행동은 어떠한가? 그리고 KL 발산과의 연결 고리는 무엇인가?
• RQ4 정보 이론과 코딩 효율성 측면에서 KL 발산은 어떻게 모델 적합도의 척도로 간주될 수 있는가?
• RQ5 다항우도의 정규화 상수가 엔트로피와 KL 발산의 유도 과정에서 수행하는 역할은 무엇인가?

주요 결과

• 무한 표본 근처에서 KL 발산 $D_{\text{KL}}(p \| q)$ 는 평균 다항우도의 음의 로그와 수학적으로 동일하다: $D_{\text{KL}}(p \| q) = \lim_{n\to\infty} -\frac{1}{n} \log L(c|q)$.
• 진짜 분포 $p$ 와 모델 분포 $q$ 가 동일할 경우, 평균 우도 $\bar{L}$ 은 1에 수렴하며, KL 발산은 0이 된다.
• 모델 $q$ 가 잘못되었고 관측 빈도 $c_i/n$ 이 $q_i$ 에서 벗어날 경우, 평균 우도 $\bar{L}$ 은 0에 수렴하여 KL 발산은 무한대로 간다.
• 유도 과정에서 다항우도의 정규화 상수가 엔트로피 항 $-\sum_i p_i \log p_i$ 를 생성함을 밝혀내어 조합론과 정보 이론을 연결한다.
• KL 발산은 모델 q 가 진짜 분포 p 를 근사할 때 발생하는 기대 정보 손실을 측정하며, 정보 이론에서 '코딩 비용'으로 간주된다.
• KL 발산은 상호정보량을 자연스럽게 뒷받침하며, 이는 $I(X;Y) = D_{\text{KL}}(p(x,y) \| p(x)p(y))$ 를 통해 랜덤 변수 간의 통계적 종속성을 측정한다.