[論文レビュー] Continuity of a class of entropies and relative entropies

Jan Naudts|ArXiv.org|Aug 26, 2002

Statistical Mechanics and Entropy参考文献 16被引用数 5

ひとこと要約

この論文は、変形対数に基づく一般化されたエントロピーおよび相対エントロピー関数の広いクラスに対して連続性評価を確立し、それらがレーシュの安定性条件を満たすことを証明している。Tsallisエントロピーの結果を一般化し、変形対数の積分表現と凸性の議論を用いて統一的で明確な証明を提供する。

ABSTRACT

The present paper studies continuity of generalized entropy functions and relative entropies defined using the notion of a deformed logarithmic function. In particular, two distinct definitions of relative entropy are discussed. As an application, all considered entropies are shown to satisfy Lesche's stability condition. The entropies of Tsallis' nonextensive thermostatistics are taken as examples.

研究の動機と目的

• 変形対数を用いて定義された一般化エントロピー関数の連続性評価を確立すること。
• 一般化した熱力学的統計における文脈において、相対エントロピーの2つの異なる定義（f-発散とBregman型発散）を分析すること。
• 考察されたすべてのエントロピー関数が、実験的信頼性を保証するレーシュの安定性条件を満たすことを証明すること。
• 既存の連続性バインディング（例：Fannes型不等式）を非拡張エントロピーの広いクラスに一般化すること。
• 有限なミクロ状態数を持つ離散確率分布に適用可能な、エントロピー連続性の統一的フレームワークを提供すること。

提案手法

• 正の値をとり、単調増加である関数 $\phi(y)$ を用いて、$\ln_{\phi}(x) = \int_1^x \frac{1}{\phi(y)} dy$ として変形対数を定義する。
• エントロピーを $I_{\phi}(p) = -\sum_k f(p_k)$ と定義し、$f(x) = \ln_{\phi}(x)$ とする。相対エントロピーは $I_{\phi}(p||q) = \sum_k q_k \ln_{\phi}(p_k/q_k)$ で定義する。
• 積分表現を用いて連続性バインディングを導出する：$|I_{\phi}(p) - I_{\phi}(q)| \leq \sum_k \int_0^{|p_k - q_k|} \ln_{\phi}(x) dx$。
• エントロピー差をバインドするための距離 $d(p,q)$ と、相対エントロピーの変動を制御するための残差項 $h_r(p,q)$ を導入する。
• $F_\phi(x) = \int_1^x \ln_{\phi}(y) dy$ の凸性および単調性の性質を応用して、最適なバインディングを導出する。
• $F_\phi(0)$ と $F_\phi(x)$ に関する不等式を用いて、最終的な連続性評価式 (47) 及びその改良形 (67) を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般化エントロピー $I_{\phi}(p)$ が全変動ノルムに関して連続であるための条件は何か？
• RQ2 確率分布の摂動に対して、f-発散とBregman型発散という2つの異なる相対エントロピーの定義は、どのように振る舞うか？
• RQ3 変形対数に基づくエントロピー関数は、レーシュの安定性条件を満たすか？
• RQ4 広いクラスの非拡張エントロピーに対して、統一的で明確な連続性評価を導出できるか？
• RQ5 $||p - q||_1$ と変形関数 $\phi$ に関して、エントロピー差の最適なバインディングは何か？

主な発見

• 一般化された連続性評価が得られた：$|I_{\phi}(p) - I_{\phi}(q)| \leq \sum_k \int_0^{|p_k - q_k|} \ln_{\phi}(x) dx$。これはエントロピー差を全変動ノルムでバインドする。
• 相対エントロピー差は $|I_{\phi}(p||r) - I_{\phi}(q||r)| \leq d(p,q) + h_r(p,q)$ を満たし、ここで $d(p,q)$ と $h_r(p,q)$ は明示的に定義された距離である。
• Tsallisエントロピーを含む、考察されたすべてのエントロピー関数は、レーシュの安定性条件を満たしており、実験的頑健性が確認された。
• Tsallisエントロピーに対する既存の手法よりも、レーシュ安定性の証明が短く、より明確である。
• 改良されたバインディングが得られた：$|I_{\phi}(p) - I_{\phi}(q)| \leq N F_\phi(0) - N F_\phi(a) - (||p - q||_1 - N a) \ln_\phi(a)$、ここで最適な $a = ||p - q||_1 / N$ である。
• このフレームワークは離散確率分布に適用可能であり、参考文献に示されるように、連続的および量子的設定へも拡張可能である。