[논문 리뷰] Rényi Divergence and Majorization

Tim van Erven, Peter Harremoës|arXiv (Cornell University)|2010. 01. 25.

Statistical Mechanics and Entropy참고 문헌 6인용 수 27

한 줄 요약

이 논문은 연속 확률 공간에서 Rényi 산란과 주요화 이론 사이의 깊은 연결을 수립하며, 일반화된 주요화 하에서 Rényi 산란이 자연스럽게 확률적 순서의 척도로 나타남을 보여준다. 이는 i.i.d. 시퀀스에서 순위 함수의 ρ-노름의 점근적 성장률을 특성화함으로써, 추측 모멘트를 통한 새로운 운영적 해석을 제공하고, 유한한 설정에서의 고전적 결과를 연속 설정으로 확장한다.

ABSTRACT

Rényi divergence is related to Rényi entropy much like information divergence (also called Kullback-Leibler divergence or relative entropy) is related to Shannon's entropy, and comes up in many settings. It was introduced by Rényi as a measure of information that satisfies almost the same axioms as information divergence. We review the most important properties of Rényi divergence, including its relation to some other distances. We show how Rényi divergence appears when the theory of majorization is generalized from the finite to the continuous setting. Finally, Rényi divergence plays a role in analyzing the number of binary questions required to guess the values of a sequence of random variables.

연구 동기 및 목표

• Rényi 산란을 사용하여 주요화 이론을 유한한 확률 공간에서 연속 확률 공간으로 일반화한다.
• Rényi 산란이 연속 설정에서 자연스러운 확률적 순서 척도임을 확립한다.
• Rényi 산란이 i.i.d. 시퀀스에서 순위 함수의 점근적 행동과 어떻게 연결되는지 밝힌다.
• 추측 모멘트와 이진 질문 복잡성에 의한 운영적 해석을 통해 Rényi 산란의 역할을 제공한다.
• Rényi 엔트로피와 산란에 관한 알려진 결과를 확률 측도를 초월한 더 일반적인 측도로 확장한다.

제안 방법

• Radon-Nikodym 미분 dP/dQ의 순위 함수의 ρ-노름을 사용하여 Rényi 산란을 특성화한다.
• 데이터 처리 부등식과 유한 분할에 대한 최대값을 적용하여 Rényi 산란을 연속 공간으로 확장한다.
• 지배 수렴 정리를 사용하여 α=0 및 α=1에서 Rényi 산란의 연속성과 극한을 증명한다.
• 횔더 부등식과 멱평균 부등식을 사용하여 순위 함수의 ρ-노름에 대한 경계를 유도한다.
• i.i.d. 시퀀스에서 Rényi 산란의 가법성을 사용하여 경계의 점근적 날카로움을 증명한다.
• 최대값의 순서를 바꾸는 것을 이용하여 일반 측도 공간에서 D∞(P‖Q)의 정의를 확장한다.

실험 결과

연구 질문

• RQ1 Rényi 산란은 연속 확률 공간에서 주요화와 어떻게 관련이 있는가?
• RQ2 Rényi 산란은 가능도 비율 dP/dQ의 순위 함수의 ρ-노름을 통해 특성화될 수 있는가?
• RQ3 i.i.d. 시퀀스에서 순위 함수의 ρ-노름의 점근적 행동은 무엇인가?
• RQ4 Rényi 산란은 마코프 순서 이론과 확률적 지배 이론에서 어떻게 유도되는가?
• RQ5 Rényi 산란은 확률 측도를 초월하여 양의 측도로 얼마나 일반화될 수 있는가?

주요 결과

• Rényi 산란은 순위 함수의 정규화된 로그-ρ-노름의 극한이다: lim_{n→∞} -1/n log||r(X₁ⁿ)||_ρ = D_α(P‖Q) for α = 1/(1+ρ).
• 모든 n에 대해 -1/n log||r(X₁ⁿ)||_ρ ≥ D_α(P‖Q) 이며, 이 경계는 점근적으로 날카롭다.
• Rényi 산란은 A = {α | 0≤α≤1 or D_α(P‖Q)<∞} 에서 α에 대해 연속이며, α에 대해 비감소적이다.
• 지배 수렴 정리를 사용하여 lim_{α↓0} D_α(P‖Q) = -log Q(p>0) 를 도출한다.
• α=1일 때, Rényi 산란은 Kullback-Leibler 산란 D(P‖Q)로 수렴하며, 표준 상대 엔트로피와의 일致성을 확인한다.
• D_∞(P‖Q) = log ess sup dP/dQ 의 특성은 측도 공간에 대한 최대값을 통해 일반 측도 공간으로 확장된다.