[論文レビュー] Relative $\alpha$-Entropy Minimizers Subject to Linear Statistical Constraints

M. Ashok Kumar, Rajesh Sundaresan|arXiv (Cornell University)|Oct 18, 2014

Statistical Mechanics and Entropy参考文献 6被引用数 4

ひとこと要約

本稿では、線形統計的制約の下での相対αエントロピー最小化を導入し分析する。これは古典的なI-射影（Kullback-Leibler散発）をパラメトリック族Iα(P, Q)に一般化したものである。本稿では、線形族へのIα-射影が、α=1のときの指数型分布族の解を一般化したべき乗則分布を与えることを証明し、ピタゴラスの不等式や一意性といった主要な性質を確立している。

ABSTRACT

We study minimization of a parametric family of relative entropies, termed relative $\alpha$-entropies (denoted $\mathscr{I}_{\alpha}(P,Q)$). These arise as redundancies under mismatched compression when cumulants of compressed lengths are considered instead of expected compressed lengths. These parametric relative entropies are a generalization of the usual relative entropy (Kullback-Leibler divergence). Just like relative entropy, these relative $\alpha$-entropies behave like squared Euclidean distance and satisfy the Pythagorean property. Minimization of $\mathscr{I}_{\alpha}(P,Q)$ over the first argument on a set of probability distributions that constitutes a linear family is studied. Such a minimization generalizes the maximum R\'{e}nyi or Tsallis entropy principle. The minimizing probability distribution (termed $\mathscr{I}_{\alpha}$-projection) for a linear family is shown to have a power-law.

研究の動機と目的

• 古典的なI-射影（Kullback-Leibler散発）をパラメトリック族Iα(P, Q)に一般化すること。
• 線形統計的制約の下で、第一引数に関してIα(P, Q)の最小化を分析すること。
• 確率分布の線形族へのIα-射影の構造を同定すること。
• ピタゴラスの不等式や一意性といった基礎的性質をIα-射影に対して確立すること。
• 最小化子がべき乗則分布に一致することを示し、α=1の場合の指数型分布族に類似した関係を明らかにすること。

提案手法

• 不一致圧縮におけるモーメント母関数に基づく冗長性を用いて、相対エントロピーのパラメトリック一般化Iα(P, Q)を提案する。
• 線形等式制約の下でのIα-射影の最適性条件を導出するためにラグランジュ乗数法を用いる。
• Iα-射影の閉形式表現を導出する：P∗(x) ∝ [Q(x)α−1 + (1−α)∑θi∗fi(x)]1/(α−1)+。
• ピタゴラスの不等式を確立する：すべてのP ∈ Lに対してIα(P, Q) ≥ Iα(P, P∗) + Iα(P∗, Q)が成り立つ。
• Iα(·, Q)の凸性と連続性を用いて、Iα-射影の一意性を証明する。
• サポートの条件を分析し、Supp(P∗) = Supp(L)のときにピタゴラスの不等式で等号が成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 α > 1の場合、線形分布族に対するIα(P, Q)の最小化子の構造は何か？
• RQ2 Iα-射影は古典的I-射影（α=1）および最大エントロピー原理をどのように一般化するか？
• RQ3 相対αエントロピーに対してピタゴラスの性質が成り立つか？また、等号が成立する条件は何か？
• RQ4 累積モーメントパラメータρが、Iαが発散尺度として現れる役割を果たす理由は何か？
• RQ5 最小化子のサポートは、制約集合のサポートおよび基準測度Qのサポートとどのように関係するか？

主な発見

• 線形族LへのQのIα-射影は一意的であり、α > 1に対してP∗(x) = Z−1 [Q(x)α−1 + (1−α)∑θi∗fi(x)]1/(α−1)+で与えられる。
• 最小化子はα-べき乗則族に属し、α=1のときの指数型分布族の解を一般化する。
• すべてのP ∈ Lに対してピタゴラスの不等式Iα(P, Q) ≥ Iα(P, P∗) + Iα(P∗, Q)が成り立ち、等号はSupp(P∗) = Supp(L)のときに限り成立する。
• 最小化子はラグランジアン最適化から導かれたKarush-Kuhn-Tucker条件を満たし、活性化された制約はP∗のサポートに関連する。
• α > 1の場合、Iα(P, Q)が有限であるのはSupp(P) ⊆ Supp(Q)のときのみであり、それ以外では発散する。
• limα→1 Iα(P, Q) = I(P∥Q)より、IαがKullback-Leibler散発を一般化することを確認できる。