[論文レビュー] Multilevel Clustering via Wasserstein Means

Nhat Ho, XuanLong Nguyen+4 more|arXiv (Cornell University)|Jun 13, 2017

Anomaly Detection Techniques and Applications参考文献 14被引用数 42

ひとこと要約

本稿では、階層構造を持つデータにおいて、グループ内での局所的クラスタとグループ間でのグローバルクラスタを同時に発見することを目的とした、Wasserstein距離を用いた最適化ベースのマルチレベルクラスタリングフレームワークを提案する。離散確率測度上の連合最適化問題として定式化し、Wasserstein重心計算との関連を活用することで、高速で一貫性がありスケーラブルなクラスタリングを実現した。合成データおよび画像やスマートフォンセンサデータを含む実世界のデータセットにおいて、優れた性能を示した。

ABSTRACT

We propose a novel approach to the problem of multilevel clustering, which aims to simultaneously partition data in each group and discover grouping patterns among groups in a potentially large hierarchically structured corpus of data. Our method involves a joint optimization formulation over several spaces of discrete probability measures, which are endowed with Wasserstein distance metrics. We propose a number of variants of this problem, which admit fast optimization algorithms, by exploiting the connection to the problem of finding Wasserstein barycenters. Consistency properties are established for the estimates of both local and global clusters. Finally, experiment results with both synthetic and real data are presented to demonstrate the flexibility and scalability of the proposed approach.

研究の動機と目的

• 階層構造を持つデータにおいて、グループ内での局所的クラスタとグループ間でのグローバルクラスタを同時に発見する課題に対処すること。
• Wasserstein距離を用いて、複数のレベルでのクラスタリングを統合的にモデル化する原理的最適化フレームワークを構築すること。
• やや弱い分布的仮定のもとで、推定された局所的およびグローバルクラスタの統計的整合性を保証すること。
• 画像やセンサデータなどの大規模・高次元データセットに対して、スケーラブルかつ柔軟なクラスタリングを可能にすること。
• 従来の階層的クラスタリングモデル（例：ネストドディリクレ過程）の非ベイズ的代替手法として、高速で代替可能な手法を提供すること。

提案手法

• 離散確率測度の空間上でマルチレベルクラスタリングを連合最適化問題として定式化し、2次 Wasserstein 距離を用いてクラスタリングの質を定量化する。
• マルチレベルクラスタリングと Wasserstein 重心計算との数学的関連を活用し、効率的な最適化アルゴリズムを設計する。
• 局所的クラスタとグローバルクラスタの間での強度の共有を促進する制約を導入した、目的関数の変種を提案する。
• 重心ソルバーに由来する高速反復アルゴリズムを採用し、大規模データセットへのスケーラビリティを実現する。
• 最適輸送理論を用いて、階層の異なるレベルにおける確率測度間の自然な距離尺度を定義する。
• 次元削減（例：PCA）および特徴抽出（例：GIST）を用いて、クラスタリングの前処理として高次元データを前処理する。

実験結果

リサーチクエスチョン

• RQ1 統合的最適化フレームワークは、マルチレベルデータにおける局所的およびグローバルクラスタ構造を効果的に発見できるか？
• RQ2 Wasserstein 距離をどのように活用することで、一貫性がありスケーラブルなマルチレベルクラスタリング目的関数を定義できるか？
• RQ3 最小限の分布的仮定のもとで、提案手法の局所的およびグローバルクラスタ推定器の統計的整合性はどのように保証されるか？
• RQ4 Wasserstein 重心問題との関連は、マルチレベルクラスタリングに向けた高速かつスケーラブルなアルゴリズムの実現を可能にするか？
• RQ5 K-means や TSK-means、MC2-SVI といった従来手法と比較して、実世界データセットにおける性能と効率はどの程度向上するか？

主な発見

• LabelMe データセットでは、MWM および MWMS アルゴリズムが最高のクラスタリング性能を達成し、NMI が 0.391、ARI が 0.284 と、K-means や MC2-SVI を上回った。
• StudentLife データセットでは、約1時間の処理時間でマルチレベルクラスタを効果的に発見し、複数の場所にまたがる共通の学生行動を特定した。
• MWMS アルゴリズムは、視覚的に整合性のある画像クラスタを生成し、左側にタグクラウド、右側に代表画像を配置することで、意味的ラベルと整合していることを示した。
• 本手法は、49台のスマートフォンから得られた460万件のデータポイントを含む高次元・大規模データにもスケーラブルに適用可能であった。
• 底辺のデータ分布にやや弱い仮定を置く条件下でも、局所的およびグローバルクラスタ推定の両方について整合性定理を確立した。
• ネストドディリクレ過程の代替として、解釈性は同等であり、計算効率が向上した非ベイズ的代替手法を提供した。