[論文レビュー] Nonextensive Generalizations of the Jensen-Shannon Divergence

André F. T. Martins, Pedro M. Q. Aguiar+1 more|ArXiv.org|Apr 10, 2008

Statistical Mechanics and Entropy参考文献 32被引用数 4

ひとこと要約

本稿は、Tsallisエントロピーと新たなq-凸性の概念を用いて、Jensen-Shannon発散の非拡張一般化を導入し、Jensen-Tsallis q-差分（JTqD）を確立する。このJTqDは、Jensenの不等式のqアナログを満たす。主な貢献は、JTqDの凸性および極値の特徴付けであり、これは古典的結果を非拡張情報理論へと拡張するものである。

ABSTRACT

Convexity is a key concept in information theory, namely via the many implications of Jensen's inequality, such as the non-negativity of the Kullback-Leibler divergence (KLD). Jensen's inequality also underlies the concept of Jensen-Shannon divergence (JSD), which is a symmetrized and smoothed version of the KLD. This paper introduces new JSD-type divergences, by extending its two building blocks: convexity and Shannon's entropy. In particular, a new concept of q-convexity is introduced and shown to satisfy a Jensen's q-inequality. Based on this Jensen's q-inequality, the Jensen-Tsallis q-difference is built, which is a nonextensive generalization of the JSD, based on Tsallis entropies. Finally, the Jensen-Tsallis q-difference is charaterized in terms of convexity and extrema.

研究の動機と目的

• Jensen-Shannon発散（JSD）を、その2つの基礎的要素（凸性およびシャノンエントロピー）を一般化することで拡張すること。
• 標準凸性を一般化し、Jensenの不等式のqアナログを支える新たなq-凸性の概念を導入すること。
• Tsallisエントロピーとq-凸性に基づく非拡張発散である、Jensen-Tsallis q-差分（JTqD）を定義し、分析すること。
• JTqDの凸性および極値に関する特徴づけを行い、Burbea-RaoおよびLinによるJSDに関する先行研究を一般化すること。
• Furuichiの定義における「相互情報量」測度としての有効性を確立し、非拡張統計的枠組みに適したJTqDを提示すること。

提案手法

• 実数値関数におけるq-凸性の概念を導入し、パrameter q ∈ (0, ∞) を用いて標準凸性を一般化する。
• q-凸関数に対するJensen q不等式を証明し、これにより新たな発散型量の定義を基盤とする。
• Tsallisエントロピーとq-凸性に基づき、対称化され、滑らかにした発散として、Jensen-Tsallis q-差分（JTqD）を定義する。
• 確率分布πおよびp₁,…,pₘに関するJTqDを、TsallisエントロピーSₚおよび重み付き和を用いて表現する関数として導出する。
• 各変数におけるJTqDの凸性／凹性を、関連関数ψの各分布成分に関する2階微分を計算することで分析する。
• Tsallisエントロピーの性質（q ∈ [0,1] における凹性および擬似加法性）を用いて、JTqDの境界および極値行動を導出する。

実験結果

リサーチクエスチョン

• RQ1 Tsallisエントロピーの文脈において、非拡張情報測度をサポートするため、凸性の概念をどのように一般化できるか？
• RQ2 Tsallisエントロピーに基づくJensen-Shannon発散の非拡張一般化の形および挙動は何か？
• RQ3 Jensen-Tsallis q-差分（JTqD）が非負となる条件は何か？また、その符号はパrameter qにどのように依存するか？
• RQ4 JTqDの凸性はqに応じてどのように変化するか？各変数において凸または凹となる領域は何か？
• RQ5 JTqDはFuruichiの定義における相互情報量測度として特徴づけられるか？その極値特性は何か？

主な発見

• Jensen-Tsallis q-差分（JTqD）は、すべてのq ≥ 1およびすべての確率分布に対して非負であり、q-Jensen不等式および−Sₚのq-凸性により証明される。
• q ∈ [0,1] の場合、JTqDはSₚ(π)(1 − n¹⁻ᑫ)以下に有界であり、Sₚ(π)は混合重みのTsallisエントロピーである。これはSₚの凹性および一様分布の最大化性に起因する。
• q ∈ [0,2] の場合、JTqDは各変数において凸であり、q ≥ 2 の場合、各変数において凹となる。これは関連関数ψの2階微分の符号から示される。
• すべての成分分布が同一かつ退化している（例：δ₁）場合、JTqDは0に達する。これにより、発散測度としての役割が確認される。
• q → 1 の極限において、JTqDは標準Jensen-Shannon発散に収束し、BurbeaおよびRao、Linの既知の結果が回復される。
• JTqDはFuruichiが定義する相互情報量測度の公理を満たしており、情報理論的文脈における解釈可能性が確認される。