[論文レビュー] On $w$-mixtures: Finite convex combinations of prescribed component distributions

Frank Nielsen, Richard Nock|arXiv (Cornell University)|Aug 2, 2017

Statistical Mechanics and Entropy参考文献 63被引用数 12

ひとこと要約

本稿では、固定された成分分布の有限な凸結合としての $w$-ミックスチャージを導入し、このようなミックスチャージ間のカルバック・ライブラー（KL）ダイバージェンスが、シャノン負エントロピーを生成子とするブラグマンダイバージェンスと数学的に同等であることを確立している。双対平坦な情報幾何的構造により、共通成分を共有するガウス・ミックスチャージ・モデルにおいて、情報損失のない最適なKL平均化による分散推定が可能となる。

ABSTRACT

We consider the space of $w$-mixtures which is defined as the set of finite statistical mixtures sharing the same prescribed component distributions closed under convex combinations. The information geometry induced by the Bregman generator set to the Shannon negentropy on this space yields a dually flat space called the mixture family manifold. We show how the Kullback-Leibler (KL) divergence can be recovered from the corresponding Bregman divergence for the negentropy generator: That is, the KL divergence between two $w$-mixtures amounts to a Bregman Divergence (BD) induced by the Shannon negentropy generator. Thus the KL divergence between two Gaussian Mixture Models (GMMs) sharing the same Gaussian components is equivalent to a Bregman divergence. This KL-BD equivalence on a mixture family manifold implies that we can perform optimal KL-averaging aggregation of $w$-mixtures without information loss. More generally, we prove that the statistical skew Jensen-Shannon divergence between $w$-mixtures is equivalent to a skew Jensen divergence between their corresponding parameters. Finally, we state several properties, divergence identities, and inequalities relating to $w$-mixtures.

研究の動機と目的

• Bregman幾何学を用いて、$w$-ミックスチャージの空間を双対平坦な統計多様体として形式化すること。
• シャノン負エントロピーを生成子として用いることで、$w$-ミックスチャージにおけるKLダイバージェンスとブラグマンダイバージェンスの同等性を確立すること。
• 双対平坦構造を活用し、情報損失のない最適な$w$-ミックスチャージのKL平均化を、分散統計推定において実現すること。
• 固定成分を有する$w$-ミックスチャージに対して、歪み付きジェンセン・シャノンおよび$f$-ダイバージェンスの不等式を一般化すること。
• 効率的な推論と推定の理論的基盤を提供し、$w$-ガウス・ミックスチャージ・モデル（w-GMM）を対象とする。

提案手法

• 固定された成分密度 $m(x;w) = \sum_{i=0}^{k-1} w_i p_i(x)$ として $w$-ミックスチャージを定義し、$w \in \Delta_{k-1}^\circ$ を満たすものとする。
• すべての such $w$-ミックスチャージの集合としての混合族多様体 $\mathcal{M}$ を構築し、シャノン負エントロピーをブラグマン生成子として情報幾何を導入する。
• 任意の二つの $w$-ミックスチャージ間のKLダイバージェンスが、シャノン負エントロピー生成子によって誘導されるブラグマンダイバージェンスに等しいことを証明する。
• 多様体の双対平坦構造を活用し、情報損失のない最適なKL平均化を可能にし、分散推論において極めて重要である。
• 歪み付きジェンセン・シャノンダイバージェンスへと結果を拡張し、パrameter空間における歪み付きジェンセンダイバージェンスと同等であることを示す。
• 混合重みの重み付き差分を用いて、$w$-ミックスチャージ間の全変動距離の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 二つの $w$-ミックスチャージ間のKLダイバージェンスは、ブラグマンダイバージェンスとして表現可能であるか？ もしそうならば、どのような生成子の下で成立するか？
• RQ2 $w$-ミックスチャージ多様体の双対平坦幾何は、情報損失のない最適なKL平均化による集約を可能にするか？
• RQ3 固定成分を有する$w$-ミックスチャージに対して、$f$-ダイバージェンス（全変動距離やジェンセン・シャノンダイバージェンスを含む）はどのように振る舞うか？
• RQ4 歪み付きジェンセン・シャノンダイバージェンスと、対応するパrameter空間における歪み付きジェンセンダイバージェンスとの関係は何か？
• RQ5 重みベクトルから、$w$-ミックスチャージ間の全変動距離のタイトな下界を導出可能か？

主な発見

• 任意の二つの $w$-ミックスチャージ間のKLダイバージェンスは、シャノン負エントロピーを生成子とするブラグマンダイバージェンスと数学的に同等であり、正確な幾何的計算が可能である。
• シャノン負エントロピーを生成子とするブラグマン幾何によって誘導される$w$-ミックスチャージ多様体は、双対平坦である。この性質により、効率的な情報幾何的演算が可能となる。
• 双対平坦構造のおかげで、$w$-ミックスチャージのKL平均化は最適かつ情報損失のないものとなり、分散統計推定において極めて重要である。
• $\alpha$-ジェンセン・シャノンダイバージェンスは、重みベクトル間の $\alpha$-ジェンセンダイバージェンスと同等であり、指数型分布族に対する既知の結果を一般化する。
• 二つの $w$-ミックスチャージ間の全変動距離に対する下界が、$\frac{1}{2}\left|\left|\sum_{i\in I}(w_i - w_i')\right| - \left|\sum_{i\in[D]\setminus I}(w_i - w_i')\right|\right|$ として導出され、ここで $I$ は $w_i \geq w_i'$ を満たすインデックス集合である。
• $\epsilon$-ミックスチャージの場合は、KLダイバージェンスがブラグマンダイバージェンスに限りなく近づき、$\mathrm{TV}(p, p^\epsilon) \leq \epsilon$ が成り立つため、近似保証が得られる。