[論文レビュー] Foundations of Comparison-Based Hierarchical Clustering

Debarghya Ghoshdastidar, Michaël Perrot+1 more|arXiv (Cornell University)|Nov 2, 2018

Advanced Clustering Algorithms Research参考文献 36被引用数 10

ひとこと要約

本稿では、順序埋め込みに依存せずに、四重比較（『オブジェクト i と j は k と l よりも類似している』）に基づいて直接動作する、証明可能に一貫性のある比較ベースの階層的クラスタリングアルゴリズムを提案する。単一連結および完全連結クラスタリングが本質的に比較ベースであることを確立し、このフレームワーク用に2つの新しい平均連結の変種を導入。プラントド階層モデル下で強い統計的保証を達成し、Dasguptaのコストを用いた実データセット上での実験で、埋め込みベースのベースラインを上回る性能を示す。

ABSTRACT

We address the classical problem of hierarchical clustering, but in a framework where one does not have access to a representation of the objects or their pairwise similarities. Instead, we assume that only a set of comparisons between objects is available, that is, statements of the form "objects $i$ and $j$ are more similar than objects $k$ and $l$." Such a scenario is commonly encountered in crowdsourcing applications. The focus of this work is to develop comparison-based hierarchical clustering algorithms that do not rely on the principles of ordinal embedding. We show that single and complete linkage are inherently comparison-based and we develop variants of average linkage. We provide statistical guarantees for the different methods under a planted hierarchical partition model. We also empirically demonstrate the performance of the proposed approaches on several datasets.

研究の動機と目的

• データのユークリッド埋め込みを必要とせず、順序比較に基づいて直接動作する階層的クラスタリングアルゴリズムの開発。
• プラントド階層的パーティションモデル下で、比較ベースの階層的クラスタリングに対する統計的整合性の保証を提供すること。
• 特に凝集的（アグロメラティブ）な設定において、比較ベースのクラスタリングの理論的基盤の欠如に取り組むこと。
• クラウドソーシング応用で一般的な非適応的かつ事前に収集された比較に適したアルゴリズムの設計。
• Dasguptaのコストを評価指標として用い、実世界のデータセット上で埋め込みベースの手法に比べてクラスタリング品質に優れていることを実証すること。

提案手法

• 四重比較のみを用いて単一連結および完全連結クラスタリングを再定式化し、それが本質的に比較ベースであることを示す。
• 類似度スコアの平均化を避ける代わりに、比較に基づく集約ルールに依存する、平均連結クラスタリングの2つの新しい変種を提案する。
• データがプラントド階層構造に従う統計的モデルを採用し、理論的保証を導出する。
• 階層的クラスタリングの品質を評価する指標としてDasguptaのコストを用い、類似度の高いオブジェクトが木の下位にマージされるように設計される。
• 実世界のクラウドソーシングデータ収集を模倣するため、比較の受動的サンプリング（p ∈ {0.01, ..., 0.1}）を採用する。
• 標準的および比較ベースのデータセット上で、Dasguptaのコストを用いて、提案手法（4K-AL, 4-AL）と埋め込みベースのベースライン（tSTE-AL, FORTE-AL）を比較する。

実験結果

リサーチクエスチョン

• RQ1 凝集的階層的クラスタリングは、順序埋め込みに依存せずに四重比較から直接行えるか？
• RQ2 単一連結および完全連結クラスタリングアルゴリズムは、完全に比較ベースのフレームワークにおいても有効かつ一貫性を保つのか？
• RQ3 平均連結クラスタリングは、比較ベースの設定に適応可能であり、その強力な理論的保証を維持できるか？
• RQ4 プラントド階層モデル下で、比較ベースのクラスタリングの統計的性能はいかほどか？
• RQ5 クラスタリング品質という観点から、比較ベースの手法は埋め込みベースの手法に比べてどのように差をつけるか？

主な発見

• 提案手法（4K-AL, 4-AL）は、複数のデータセットで埋め込みベースの手法（tSTE-AL, FORTE-AL）よりも低いDasguptaのコストを達成しており、より良い階層的構造の回復を示している。
• 埋め込みベースの手法（tSTE-AL, FORTE-AL）の性能は埋め込み次元に敏感であり、特定の次元で性能が劣化する（例：tSTEはZooデータで次元が増加するにつれて劣化）。
• 比較の割合（p ∈ {0.01, ..., 0.1}）が性能にほとんど影響しないことから、比較データが疎であってもロバストであることが示された。
• 提案手法は、埋め込みベースの手法とは異なり、データに強いユークリッド構造を強制しない。これは、このような構造が自然でない場合に有利である。
• Carデータセットでは、4K-ALおよび4-ALが学習した階層構造は視覚的に整合性があり、直感的な自動車グループ化と一致している。
• 理論的分析により、単一連結および完全連結クラスタリングが本質的に比較ベースであることが確認され、新規の平均連結変種もプラントドモデル下で一貫性を保つことが示された。