[논문 리뷰] On the Upper Bound of the Kullback-Leibler Divergence and Cross Entropy

Min Chen, Mateu Sbert|arXiv (Cornell University)|2019. 11. 19.

Data Visualization and Analytics참고 문헌 3인용 수 6

한 줄 요약

이 논문은 유한 알파벳을 인코딩할 때 교차 엔트로피와 쿨백-라이블러(KL) 발산에 대한 유한한 상한 ||Z||−1을 설정함으로써, 정보이론적 비용-편익 분석에서 KL 발산의 유bound성 문제를 해결한다. 새로운 유계 발산 측도를 제안하고, JS-발산 및 기타 유계 대안과 비교하여 실용적 응용에서 KL 발산의 직관적이고 해석 가능하며 확장 가능한 대체 수 Mittel을 제공한다.

ABSTRACT

This archiving article consists of several short reports on the discussions between the two authors over the past two years at Oxford and Madrid, and their work carried out during that period on the upper bound of the Kullback-Leibler divergence and cross entropy. The work was motivated by the cost-benefit ratio proposed by Chen and Golan [1], and the less desirable property that the Kullback-Leibler (KL) divergence used in the measure is unbounded. The work subsequently (i) confirmed that the KL-divergence used in the cost-benefit ratio should exhibit a bounded property, (ii) proposed a new divergence measure, and (iii) compared this new divergence measure with a few other bounded measures.

연구 동기 및 목표

• 정보이론적 비용-편익 분석에서 KL 발산의 유bound성 문제로 인해 값이 −∞에 가까워질 경우 해석이 어려워지는 문제를 해결하기 위해.
• 엔트로피 인코딩의 의미와 알파벳 크기에 기반하여 교차 엔트로피와 KL 발산에 대한 유한한 상한을 설정하기 위해.
• 유계성, 해석 가능성, 교환법칙 유연성 등의 바람직한 성질을 유지하는 새로운 유계 발산 측도를 제안하기 위해.
• 기존의 유계 측도(예: JS-발산)와 비교하여 대칭성, 곡률, 의미적 직관성 측면에서 새로운 발산 측도를 평가하기 위해.

제안 방법

• 최소 확률 기호가 가장 자주 사용될 경우의 엔트로피 인코딩에서의 최악의 비효율성을 분석하여 교차 엔트로피에 대한 상한 ||Z||−1을 유도한다.
• 이진 프리픽스 코드 구조(예: 허프만 유사 인코딩)를 사용하여 크기가 ||Z||=n인 알파벳의 어떤 기호도 최대 n−1비트를 필요로 하지 않음을 보여주어 상한을 확립한다.
• pᵢ log(|pᵢ−qᵢ|+1) 형태에 기반한 새로운 발산 측도를 제안하며, 이는 유계이면서 해석 가능하며, 교환법칙 및 일반화된 스케일링을 위한 변형이 가능하다.
• |pᵢ−qᵢ|ᵏ+1을 사용하여 k=1 및 k=2인 일반화된 버전의 새로운 발산 측도를 도입하여 곡률과 민감도를 제어한다.
• 대칭성, 단조성, 의미적 직관성 등을 평가하기 위해 per-letter 발산 플롯을 사용하여 새로운 발산 측도를 JS-발산 및 KL 발산과 비교한다.
• 모든 유계 측도를 ℋ_max(ℤ)로 스케일링하여 비용-편익 프레임워크 내에서 일관된 해석이 가능한 [0, ℋ_max(ℤ)] 범위 내에서 유계성을 확보한다.

실험 결과

연구 질문

• RQ1 엔트로피 인코딩 원리에 따라 유한 알파벳을 인코딩할 때 교차 엔트로피와 KL 발산에 유한한 상한이 존재하는가?
• RQ2 코딩의 비효율성의 의미를 유지하면서도 유bound 값이 되지 않는 새로운 유계 발산 측도를 구성할 수 있는가?
• RQ3 JS-발산, 새로운 발산 측도, 또는 그 변형 중에서 해석 가능성, 대칭성, KL 발산과의 곡률 유사성 측면에서 가장 균형 잡힌 측도는 무엇인가?
• RQ4 새로운 발산 측도는 확률 차이가 변화할 경우 어떻게 행동하는가? 그리고 직관적인 비대칭 또는 대칭 패턴을 보이는가?

주요 결과

• 임의의 유한 알파벳 ℤ에 대해 교차 엔트로피 ℋ(P,Q)는 최적의 프리픽스 인코딩에서 최대 코드어 길이에 기반하여 ||ℤ||−1 이하로 유계이다.
• 진짜 확률질량함수(PMF) P가 균일하고 추정된 PMF Q가 매우 비대칭일 경우 KL 발산 ℋ(P||Q)는 ℋ_max(ℤ) 이하로 유계이며, 이는 유한한 상한의 존재를 확인한다.
• pᵢ log(|pᵢ−qᵢ|+1)로 정의된 제안된 새로운 발산 측도는 유계이며, 직관적인 행동을 보인다: |pᵢ−qᵢ|가 증가할수록 발산이 증가하고, 일반화된 교환법칙 형태에서는 대칭성을 유지한다.
• 비교환형 버전(식 5)은 KL 발산의 부분적인 비대칭성을 유지하므로 방향성이 중요한 응용 분야에 적합하다.
• k=2인 교환형 버전(식 6)은 기본 버전보다 KL 발산과 더 유사한 곡률을 보이며, 유계성과 |pᵢ−qᵢ|와의 양의 상관관계를 유지한다.
• JS-발산과 k=2인 새로운 발산 측도는 기본 새로운 발산 측도보다 KL 발산에 더 가까운 곡률을 보이지만, 새로운 발산 측도는 거의 선형 형태를 띠어 더 높은 해석 가능성과 정성적 추정 용이성을 제공한다.