[論文レビュー] Minimization Problems Based on a Parametric Family of Relative Entropies II: Reverse Projection.

M. Ashok Kumar, Rajesh Sundaresan|arXiv (Cornell University)|Oct 9, 2014

Statistical Mechanics and Entropy参考文献 33被引用数 4

ひとこと要約

本稿は、相対的αエントロピー（Iα）のパrametric族を導入し、Kullback-Leibler発散を一般化し、閉凸集合上での逆Iα射影最小化を研究する。最小化可能解の存在を確立し、逆射影のべき則形を導出し、情報幾何とピタゴラス的性質を用いて、最大Renyi/Tsallisエントロピー原理を一般化する。

ABSTRACT

Minimization problems with respect to a one-parameter family of generalized relative entropies are studied. These relative entropies, which we term relative α-entropies (denoted Iα), arise as redundancies under mismatched compression when cumulants of compressed lengths are considered instead of expected compressed lengths. These parametric relative entropies are a generalization of the usual relative entropy (Kullback-Leibler divergence). Just like relative entropy, these relative α-entropies behave like squared Euclidean distance and satisfy the Pythagorean property. Minimizers of these relative α-entropies on closed and convex sets are shown to exist. Such minimizations generalize the maximum Renyi or Tsallis entropy principle. The minimizing probability distribution (termed forward Iα-projection) for a linear family is shown to have a power-law. Other results in connection with statistical inference, namely subspace transitivity and iterated projections, are also established. In a companion paper, a related minimization problem of interest in robust statistics that leads to a reverse Iα-projection is studied. Index Terms Best approximant; exponential family; information geometry; Kullback-Leibler divergence; linear family; power-law family; projection; Pythagorean property; relative entropy; Renyi entropy; Tsallis entropy.

研究の動機と目的

• 前向き射影にとどまらず、逆Iα射影最小化を含めた一般化された相対エントロピー最小化を拡張し、頑健な統計的推論を目的とする。
• 閉凸集合上での相対的αエントロピーの最小化可能解の理論的基盤を確立し、古典的情報幾何を一般化する。
• パrametric族であるIα発散を用いて、最大RenyiおよびTsallisエントロピー原理を統一的かつ拡張的に扱う。
• Iα射影の文脈において、部分空間の推移性および繰り返し射影の性質を調査する。
• 逆Iα射影の構造を特徴付け、それがべき則族分布をもたらすことを示す。

提案手法

• 圧縮長のモーメント関数に基づく一般化された発散として、一パラメータ族の相対的αエントロピー（Iα）を形式化する。
• 情報幾何を用いて、線形族および閉凸集合上でのIαの最小化を分析する。
• Iαのピタゴラス的性質を用い、二乗ユークリッド距離に類似した射影の構造的結果を導出する。
• 逆Iα射影の形を導出し、線形制約下でそれがべき則族に属することを示す。
• Iαの幾何的構造を用いて、部分空間の推移性および繰り返し射影の収束を確立する。
• 前向きと逆射影の双対性を活用し、エントロピー最大化原理を一般化する。

実験結果

リサーチクエスチョン

• RQ1 閉凸集合上での逆Iα射影はどのように振る舞い、最小化可能解は存在するか？
• RQ2 逆Iα射影の関数的形は何か、そしてべき則族とどのように関係するか？
• RQ3 Iα発散は、最大RenyiおよびTsallisエントロピー原理をどのように一般化するか？
• RQ4 Iα射影幾何におけるピタゴラス的性質の役割は何か？
• RQ5 Iαフレームワーク下で、部分空間の推移性および繰り返し射影はどのように振る舞うか？

主な発見

• 閉凸集合上での相対的αエントロピー（Iα）の最小化可能解が存在し、一般化発散への古典的結果の拡張がなされた。
• 線形族への逆Iα射影は、べき則族に属する確率分布をもたらす。
• Iα発散はピタゴラス的性質を満たし、射影の幾何的分解を可能にする。
• 統一的なパラメトリック族を通じて、最大RenyiおよびTsallisエントロピー原理がフレームワークで一般化された。
• Iα射影において部分空間の推移性が成り立ち、入れ子の部分空間間で一貫性が保証される。
• Iαフレームワーク下での繰り返し射影は収束し、反復的推論および近似アルゴリズムの支持がなされた。