[論文レビュー] Optimal transport for Gaussian mixture models

Yongxin Chen, Tryphon T. Georgiou+1 more|arXiv (Cornell University)|Oct 22, 2017

Markov Chains and Monte Carlo Methods参考文献 3被引用数 9

ひとこと要約

本稿では、Gaussian mixture models (GMMs) の最適輸送フレームワークを、GMM密度の部分多様体に輸送を制限することによって、計算的に効率的な比較、補間、平均化を可能にするとともに、GMM構造を保持する、新しい最適輸送フレームワークを提案する。この手法により、変数がO(N)個の線形計画法に帰着され、GMM多様体上での測地線路線を維持し、標準的な最適輸送に対する低コストで構造を保全する代替手法が得られる。

ABSTRACT

We present an optimal mass transport framework on the space of Gaussian mixture models, which are widely used in statistical inference. Our method leads to a natural way to compare, interpolate and average Gaussian mixture models. Basically, we study such models on a certain submanifold of probability densities with certain structure. Different aspects of this framework are discussed and several examples are presented to illustrate the results. This method represents our first attempt to study optimal transport problems for more general probability densities with structures.

研究の動機と目的

• Gaussian mixture models (GMMs) のための計算的に効率的な最適輸送フレームワークを開発すること。GMMは統計的推論およびデータサイエンスで広く用いられている。
• 補間や平均化などの輸送操作において、GMM構造を保持すること。標準的な最適輸送では、成分ごとの構造が損なわれるのを避ける。
• GMM密度の部分多様体への輸送制限により、計算複雑性を低減し、クラスタリングされた部分集団を有する高次元データへのスケーラブルな応用を可能にすること。
• Wasserstein距離に基づく幾何学的フレームワークを提供することにより、GMMの内在的構造を尊重しながら、低コストを維持すること。
• 成分の分散が小さい場合に、提案手法が標準的最適輸送距離をよく近似することを示し、実用的有用性を検証すること。

提案手法

• GMMをGaussian mixture構造を有する確率密度の部分多様体として扱い、最適輸送を介してWasserstein空間に埋め込む。
• 成分質量間の輸送を離散化することで最適輸送問題を線形計画問題として定式化し、変数はGaussian成分間の質量移動を表す。
• Wasserstein-2距離を用いてGMM空間上にRiemann幾何を定義し、GMMクラスに留まる自然な測地線補間を可能にする。
• 輸送写像は凸ポテンシャルの勾配として導出され、一意性と滑らかさが保証され、結合は初期測度のプッシュフォワードにより構築される。
• 最適輸送がGMM間で有限次元の線形計画問題に還元可能であり、変数数がO(N)（Nは全成分数）に抑えられることを活用する。
• 与えられた重みの下で一般化線形計画問題を解くことで、複数GMMの重心を計算する拡張が可能であり、結果の成分構造が保たれる。

実験結果

リサーチクエスチョン

• RQ1 最適輸送をGaussian mixture modelsの部分多様体に制限することで、輸送操作中に構造的性質を保てるか？
• RQ2 GMMの最適輸送の計算コストを、幾何的忠実性を保ちつつ低減できるか？
• RQ3 提案手法は、標準的最適輸送とは異なり、補間および重心計算においてGaussian mixture構造を保っているか？
• RQ4 成分の分散が小さい場合に、提案距離が標準Wasserstein距離をどの程度よく近似するか？
• RQ5 本フレームワークは、GMM間の距離、測地線、重心を、計算複雑性を低くして計算可能か？

主な発見

• 提案手法は、標準的最適輸送とは異なり、補間においてGaussian mixture構造を保持する。
• GMM間の最適輸送の計算複雑性が、全成分数Nに対してO(N)変数の線形計画問題に低減され、スケーラブルな計算が可能になる。
• 数値結果から、提案距離は常に標準Wasserstein距離以下に抑えられ、成分の分散が小さい場合には両者が収束することが示された。
• 重心計算において、提案手法はすべての重みに対してGMM構造を維持するが、標準的最適輸送ではこの構造が失われる。
• 1次元および2次元の例で示されるように、本フレームワークはGMM間で正確かつ効率的な測地線補間を可能にし、中間密度が有効なGMMのまま保たれる。
• 本手法は、固有のクラスタリングや部分集団構造を有するデータに対して、実用的で構造に配慮した標準的最適輸送の代替手段を提供する。