[論文レビュー] Probabilistic Multilevel Clustering via Composite Transportation Distance

Nhat Ho, Viet Huynh+2 more|arXiv (Cornell University)|Oct 29, 2018

Data Management and Algorithms被引用数 5

ひとこと要約

本稿では、Kullback-Leibler 散発に基づく複合輸送距離を用いて、離散的および連続的データの両方に対して局所的およびグローバルなクラスタリングを同時に最適化する、新しい確率的マルチレベルクラスタリング手法 Multilevel Composite Transportation (MCT) を提案する。この手法は、合成データおよび実世界のデータセット（LabelMe および NUS-WIDE を含む）において、既存の手法を上回るクラスタリング精度とスケーラビリティを示しており、最適輸送理論と効率的なバリセンター計算を活用することで優れた性能を発揮する。

ABSTRACT

We propose a novel probabilistic approach to multilevel clustering problems based on composite transportation distance, which is a variant of transportation distance where the underlying metric is Kullback-Leibler divergence. Our method involves solving a joint optimization problem over spaces of probability measures to simultaneously discover grouping structures within groups and among groups. By exploiting the connection of our method to the problem of finding composite transportation barycenters, we develop fast and efficient optimization algorithms even for potentially large-scale multilevel datasets. Finally, we present experimental results with both synthetic and real data to demonstrate the efficiency and scalability of the proposed approach.

研究の動機と目的

• 既存のマルチレベルクラスタリング手法が、離散的および連続的データの両方を効果的に処理できないという限界を解消すること。
• ドキュメント内の単語やコーパス内の画像などのデータの階層的構造を捉える統一された確率的フレームワークを構築すること。
• ディリクレ過程の事前分布やサンプリングに基づく推論に依存せずに、効率的かつスケーラブルなクラスタリングを可能にすること。
• 混合モデルのパラメータの幾何構造を最適輸送を用いて活用することで、クラスタリング性能を向上させること。
• 情報共有を維持しつつ計算の実行可能性を保つ柔軟で統計的に効率的な手法を提供すること。

提案手法

• 本手法は、ユークリッド距離の代わりにKullback-Leibler 散発を基本メトリクスとして用いる最適輸送の変種である複合輸送距離に基づく。
• 局所的クラスタリング（各グループごと）とグローバルクラスタリング（グループ全体を通して）を同時に学習するための確率測度上の連合最適化問題を定式化する。
• 局所的クラスタリングは未知の混合モデルでモデル化され、KL 散発を用いた複合輸送コストの最小化によりパラメータが推定される。
• グローバルクラスタリングは、局所的測度上の複合輸送バリセンター問題を解くことで達成され、グループのグローバルな分割が得られる。
• 最適化は座標降下法とWasserstein バリセンターを高速に計算するアルゴリズムを組み合わせて実行され、大規模データセットへのスケーラビリティが実現される。
• ディリクレ過程の事前分布を回避しつつも、クラスタ間でのアトムの共有の柔軟性を維持し、統計的効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 離散的および連続的データの両方を効果的に処理できる確率的マルチレベルクラスタリング手法を開発できるか？
• RQ2 最適輸送理論をどのように変更すれば、Kullback-Leibler 散発を基本メトリクスとするマルチレベルクラスタリングを可能にするか？
• RQ3 統一された最適化フレームワークにより、局所的およびグローバルなクラスタリングを効率的に実現できるか？
• RQ4 提案手法は、K-means や W-means、SVB-MC2 などの既存手法に比べ、実世界のマルチレベルデータセットで優れた性能を示すか？
• RQ5 階層的構造におけるクラスタ間での統計的強度の共有は、この手法にどの程度の利益をもたらすか？

主な発見

• LabelMe データセット（連続特徴）では、MCT は NMI 0.485、ARI 0.412、AMI 0.477 を達成し、K-means、W-means、SVB-MC2 を上回った。
• NUS-WIDE データセット（離散タグ）では、MCT は NMI 0.423、ARI 0.255、AMI 0.39 を達成し、離 discrete データに対して既存のベースライン手法を顕著に上回った。
• K-means や W-means などのベースライン手法は離 discrete データに対して著しく劣り、ARI 値が 0.10 未満にとどまり、ロバストネスとクラスタリング品質の低さが示された。
• NUS-WIDE で発見されたクラスタのタグクラウド可視化から、クラスタが意味的に一貫しており、ラクダやライオンといった明確なグループ化が確認された。
• 最適化されたバリセンター計算のおかげで、大規模なマルチレベルデータセットに対しても高速な計算が可能であり、強力なスケーラビリティと効率性を示した。
• ディリクル過程の事前分布を必要としないが、クラスタ間でのアトム共有を維持することで柔軟性と統計的効率性を保った。