[論文レビュー] Clustering, factor discovery and optimal transport

Hongkang Yang, Esteban G. Tabak|arXiv (Cornell University)|Feb 27, 2019

Geochemistry and Geologic Mapping参考文献 38被引用数 5

ひとこと要約

本稿では、未説明分散を低減するための Wasserstein バリセントル最小化として問題を定式化することにより、クラスタリングおよび潜在的要因の同定のための新しい最適輸送ベースのフレームワークを提案する。バリセントリッククラスタリングおよびアフィン要因同定アルゴリズムを導入し、k-means や主曲線の一般化として機能し、非等方的クラスタに対してより高いロバスト性を発揮するとともに、階層的潜在的要因の反復的同定を可能にする。

ABSTRACT

The clustering problem, and more generally, latent factor discovery --or latent space inference-- is formulated in terms of the Wasserstein barycenter problem from optimal transport. The objective proposed is the maximization of the variability attributable to class, further characterized as the minimization of the variance of the Wasserstein barycenter. Existing theory, which constrains the transport maps to rigid translations, is extended to affine transformations. The resulting non-parametric clustering algorithms include k-means as a special case and exhibit more robust performance. A continuous version of these algorithms discovers continuous latent variables and generalizes principal curves. The strength of these algorithms is demonstrated by tests on both artificial and real-world data sets.

研究の動機と目的

• 従来の二乗平均誤差目的を超えて、よりロバストで解釈可能な潜在的要因同定フレームワークの開発。
• 最適輸送を用いて2次統計量を組み込むことで、既存のクラスタリングおよび主曲線手法の限界を克服すること。
• 各要因の条件付き分布を Wasserstein バリセントルに統合することで、階層的潜在的要因の反復的同定を可能にすること。
• 古典的な k-means および主曲線アルゴリズムを、統一的な最適輸送ベースの定式化の特殊ケースとして一般化すること。
• 高次元データにおけるバッチ効果の除去および連続的・離散的潜在構造の同定に、スケーラブルで原理的根拠のある手法を提供すること。

提案手法

• 潜在的要因同定問題を、条件付き分布の Wasserstein バリセントルの分散を最小化する問題として定式化し、未説明変動を表す。
• 非剛体（rigid）でない、アフィン変換マップを許容することで、既存の最適輸送理論を拡張し、非等方的クラスタ構造をよりよくモデル化する。
• アフィン輸送下でのバリセントル分散に対して閉形式の表現を導出し、勾配ベースの最適化が可能になる。
• クラスタ固有の共分散行列を活用することで、非球形クラスタに対して性能向上を実現するバリセントリック k-means およびバリセントリッククラスタリングアルゴリズムを導入。
• 連続的潜在変数を最適輸送バリセントルでモデル化することで、主曲線を一般化するアフィン要因同定アルゴリズムを開発。
• 各段階で、各要因の条件付き分布のバリセントルを次の要因の同定に再利用する多段階的反復的手順を提案し、階層的要因抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最適輸送を用いることで、二乗平均誤差よりもよりロバストな目的関数をクラスタリングおよび潜在的要因同定に定義できるか？
• RQ2 剛体移動ではなくアフィン変換マップを用いることで、非等方的かつサイズが異なるクラスタに対してクラスタリング性能が向上するか？
• RQ3 Wasserstein バリセントルの分散が、データ内の未説明変動の代理としてどのように機能するか？
• RQ4 提案フレームワークが、古典的な k-means および主曲線アルゴリズムをどのように一般化するか？
• RQ5 条件付き分布をバリセントルに基づいて統合することで、高次元データにおける複数の潜在的要因の有効な反復的同定が可能か？

主な発見

• 提案されたバリセントリッククラスタリングアルゴリズムは、クラスタ共分散行列を明示的にモデル化することで、非等方的クラスタにおいて標準 k-means を上回る性能を発揮する。
• バリセントリック k-means は、一般バリセントリッククラスタリングと同等の性能を達成しつつ、古典的 k-means の計算効率を維持する。
• アフィン要因同定は、条件付き分布の分散を組み込むことで主曲線を効果的に一般化し、連続的潜在変数の同定を可能にする。
• すべての提案アルゴリズムは、すべての条件付き分布が平行移動のみで異なる特別な場合に、古典的 k-means および主曲線手法に還元される。
• 条件付き分布をバリセントルに統合することで、意味のある構造を保持したまま階層的要因抽出が可能となる。
• バッチ効果に対してロバストであることが実証され、複数の条件付き分布を最小限の歪みで単一の代表的バリセントルに統合可能である。