[논문 리뷰] A short note on an inequality between KL and TV

Clément L. Canonne|arXiv (Cornell University)|2022. 02. 15.

Mathematical Inequalities and Applications인용 수 7

한 줄 요약

이 논문은 Kullback–Leibler (KL) 발산과 총변동(TV) 거리 사이의 더 날카우며 비어 있지 않은 경계인 BH 경계를 도입하고 증명한다. 이 경계는 dTV(p, q) ≤ √(1 − e^−KL(p∥q))로 표현되며, Pinsker의 부등식과 달리 큰 KL 발산 값에서도 효과를 유지하며, 작은 KL 값에서는 항상 Pinsker의 부등식보다 약하지 않다. 이는 정보이론과 통계학에서 더 견고한 대안을 제공한다.

ABSTRACT

The goal of this short note is to discuss the relation between Kullback--Leibler divergence and total variation distance, starting with the celebrated Pinsker's inequality relating the two, before switching to a simple, yet (arguably) more useful inequality, apparently not as well known, due to Bretagnolle and Huber. We also discuss applications of this bound for minimax testing lower bounds.

연구 동기 및 목표

• 큰 KL 발산 값에서 공백이 발생하지 않는, KL 발산과 총변동 거리 사이의 새로운 더 날카운 부등식을 제시하는 것.
• 작은 KL 발산 값에서는 BH 경계가 Pinsker의 부등식보다 항상 열악하지 않으며, KL(p∥q) > 2일 때도 효과를 유지함을 보이는 것.
• Jensen의 부등식과 Radon–Nikodym 미분의 성질을 활용한 BH 경계의 깔끔하고 접근 가능한 유도 과정을 제공하는 것.
• 특히 고차원 또는 큰 KL 값의 환경에서 통계적 추론과 가설 검정에서 BH 경계의 활용을 정당화하는 것.
• BH 경계와 Donsker–Varadhan 공식(Thomas의 최애의 보조정리) 간의 관계를 탐색하고, 이 원리로부터 BH 경계를 유도할 수 있는지에 대한 열린 질문을 제기하는 것.

제안 방법

• 분포 p 하에서 랜덤 변수 U = q(X)/p(X), V = (U−1)+, W = (1−U)+를 정의하고, BH 경계를 유도한다.
• −KL(p∥q) = E_p[log U] = E_p[log(1+V) + log(1−W)]라는 항등식에 Jensen의 부등식을 적용하여 −KL(p∥q) ≤ log(1 + E_p[V]) + log(1 − E_p[W])를 유도한다.
• dTV(p,q) = E_p[V] = E_p[W]라는 사실을 활용하여, 부등식이 −KL(p∥q) ≤ log(1 + dTV) + log(1 − dTV) = log(1 − dTV²)로 간소화됨을 보인다.
• 양변을 지수함수로 변환하고 재정렬하여 dTV(p,q) ≤ √(1 − e^−KL(p∥q))를 도출한다.
• g(x) = min(1, p(x)/q(x))의 직접적 구성을 통해 e^−KL(p∥q) ≤ 1 − dTV(p,q)²임을 보여, 이는 BH 경계를 함의함을 검증한다.
• KL(p∥q) > 2일 때도 비어 있지 않음을 보여, Pinsker의 부등식과 비교해 BH 경계가 더 우수함을 입증한다.

실험 결과

연구 질문

• RQ1 큰 KL 값에서도 효과를 유지하는, 더 날카우며 비어 있지 않은 KL 발산과 총변동 거리 사이의 경계를 도출할 수 있는가?
• RQ2 BH 경계는 모든 KL 발산 영역에서 tightness와 적용 가능성 측면에서 Pinsker의 부등식보다 엄밀히 우수한가?
• RQ3 BH 경계는 Donsker–Varadhan 공식(Thomas의 최애의 보조정리)에서 유도될 수 있는가?
• RQ4 Vajda의 경계와 같은 다른 알려진 f-발산 부등식과 비교해 BH 경계는 정량적으로 어떻게 다른가?
• RQ5 g(x) = min(1, p(x)/q(x))는 TFL을 통해 BH 경계를 유도하는 데 어떤 역할을 하는가?

주요 결과

• BH 경계는 dTV(p,q) ≤ √(1 − e^−KL(p∥q))로 표현되며, 이는 공백이 없고 KL(p∥q) > 2일 때도 효과를 유지한다.
• 작은 KL(p∥q) 값에서는 BH 경계가 Pinsker의 부등식보다 항상 열악하지 않으며, 오직 √2의 인자만 다를 뿐이다.
• 모든 KL(p∥q) > 0에서 BH 경계는 Pinsker의 부등식보다 더 날카롭며, KL(p∥q)가 증가할수록 격차가 커진다.
• BH 경계는 U = q(X)/p(X), V = (U−1)+, W = (1−U)+를 포함한 항등식에 Jensen의 부등식을 적용하여 도출된다.
• BH 경계는 g(x) = min(1, p(x)/q(x))를 선택함으로써 Donsker–Varadhan 공식에서 도출될 수 있으며, 이는 e^−KL(p∥q) ≤ 1 − dTV(p,q)²를 유도한다.
• BH 경계는 KL(p∥q) < ∞이면 dTV(p,q) < 1임을 함의하며, 이는 Pinsker의 부등식으로는 증명할 수 없는 사실이다.