[論文レビュー] Rényi Divergence and Majorization

Tim van Erven, Peter Harremoës|arXiv (Cornell University)|Jan 25, 2010

Statistical Mechanics and Entropy参考文献 6被引用数 27

ひとこと要約

本稿は、連続確率空間におけるRényi散発と主要化理論の深い関係を確立し、一般化された主要化の下での確率的順序の測度としてRényi散発が自然に現れることを示している。Rényi散発がi.i.d.系列における順位関数のρノルムの漸近的成長率を特徴づけることを証明し、推測モーメントを通じて新たな操作的解釈を提供するとともに、有限設定から連続設定へ既存の結果を拡張している。

ABSTRACT

Rényi divergence is related to Rényi entropy much like information divergence (also called Kullback-Leibler divergence or relative entropy) is related to Shannon's entropy, and comes up in many settings. It was introduced by Rényi as a measure of information that satisfies almost the same axioms as information divergence. We review the most important properties of Rényi divergence, including its relation to some other distances. We show how Rényi divergence appears when the theory of majorization is generalized from the finite to the continuous setting. Finally, Rényi divergence plays a role in analyzing the number of binary questions required to guess the values of a sequence of random variables.

研究の動機と目的

• Rényi散発を用いて、有限空間から連続確率空間への主要化理論の一般化を図ること。
• 連続設定における確率的順序の自然な測度としてRényi散発を確立すること。
• Rényi散発をi.i.d.系列における順位関数のρノルムの漸近的挙動と結びつけること。
• 推測モーメントおよび2値質問の複雑さを通じて、Rényi散発の操作的解釈を提供すること。
• Rényiエントロピーおよび散発に関する既知の結果を、確率測度を超えた正の測度へより一般的に一般化すること。

提案手法

• Radon-Nikodym導関数 dP/dQ の順位関数のρノルムを用いてRényi散発を特徴づける。
• データ処理不等式および有限分割における上界の上限を用いて、Rényi散発を連続空間へ拡張する。
• 支配収束定理を用いて、α=0およびα=1におけるRényi散発の連続性および極限を証明する。
• ホルダーの不等式および平均の冪乗不等式を用いて、順位関数のρノルムの上限を導出する。
• i.i.d.系列におけるRényi散発の加法性を用いて、境界の漸近的タイトネスを証明する。
• 上限の交換を用いて、一般の可測空間における D∞(P‖Q) の定義を拡張する。

実験結果

リサーチクエスチョン

• RQ1 Rényi散発は連続確率空間における主要化とどのように関係するか？
• RQ2 Rényi散発は尤度比 dP/dQ の順位関数のρノルムによって特徴づけられるか？
• RQ3 i.i.d.系列における順位関数のρノルムの漸近的挙動は何か？
• RQ4 Rényi散発はマコフ順序および確率的優位性の理論からどのように導かれるか？
• RQ5 Rényi散発は確率測度を超えて、正の測度へどの程度一般化可能か？

主な発見

• Rényi散発は、順位関数の正規化された対数ρノルムの極限として与えられる：lim_{n→∞} -1/n log||r(X₁ⁿ)||_ρ = D_α(P‖Q) であり、α = 1/(1+ρ) のとき成り立つ。
• すべてのnに対して -1/n log||r(X₁ⁿ)||_ρ ≥ D_α(P‖Q) が成り立ち、これは漸近的にタイトである。
• Rényi散発は集合 A = {α | 0≤α≤1 or D_α(P‖Q)<∞} 上でαに関して連続的であり、非減少である。
• 支配収束定理を用いて、lim_{α↓0} D_α(P‖Q) = -log Q(p>0) を導出する。
• α=1 のとき、Rényi散発はKullback-Leibler散発 D(P‖Q) に収束し、標準的相対エントロピーと一貫していることが確認される。
• D_∞(P‖Q) = log ess sup dP/dQ の特徴づけは、可測集合における上限を用いて一般可測空間へ拡張可能である。