[論文レビュー] Hierarchical Correlation Clustering and Tree Preserving Embedding

Morteza Haghir Chehreghani, Chehreghani, Mostafa Haghir|arXiv (Cornell University)|Feb 18, 2020

Advanced Clustering Algorithms Research参考文献 51被引用数 8

ひとこと要約

本稿では、正のおよび負の対比較類似度を両方取り扱うことで、階層的クラスタを生成する新しい手法である階層的相関クラスタリング（HCC）を提案する。最小最大化距離と木構造を保全する埋め込みを統合することで、ハイパーパramータのチューニングや事前のクラスタ数の指定を必要とせず、非監視的表現学習を可能にし、任意の形状や細長い形状のデータセットにおいて完全なクラスタリングを達成する。

ABSTRACT

We propose a hierarchical correlation clustering method that extends the well-known correlation clustering to produce hierarchical clusters applicable to both positive and negative pairwise dissimilarities. Then, in the following, we study unsupervised representation learning with such hierarchical correlation clustering. For this purpose, we first investigate embedding the respective hierarchy to be used for tree preserving embedding and feature extraction. Thereafter, we study the extension of minimax distance measures to correlation clustering, as another representation learning paradigm. Finally, we demonstrate the performance of our methods on several datasets.

研究の動機と目的

• 正および負の対比較類似度を両方処理できる階層的クラスタリング手法におけるギャップを埋める。
• 多層的なクラスタ構造を保持する相関クラスタリングの階層的拡張を開発する。
• 階層的構造の木構造を保全する埋め込みを用いて、非監視的表現学習を可能にする。
• 最小最大化距離を相関クラスタリングに統合し、複雑で細長いクラスタ構造の検出を向上させる。
• 実世界および合成データセットにおいて、多様なクラスタ形状を持つデータに対してHCCおよびその変種の有効性を実証する。

提案手法

• 正および負の対比較関係に特化した新しいクラスタ間距離関数を用いた、階層的凝集型クラスタリング手法としてHCCを提案する。
• HCCのデンドログラムを低次元特徴表現にマップする木構造を保全する埋め込みフレームワークを設計する。
• 相関クラスタリングに最小最大化距離測定を統合し、非球形で細長いクラスタ構造の検出を強化する。
• クラスタリングの前処理として、時系列軌跡データの可視化に動的時間適合（DTW）とt-SNEを適用する。
• HCCから得られる特徴量を入力としてGMMベースのクラスタリングを実行し、表現品質を評価する。
• 近傍点に+1、非近傍点に-1を割り当てたK近傍近傍グラフを構築し、最小最大化距離を用いたり使わなかったりした相関クラスタリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 相関クラスタリングは、正および負の対比較類似度を両方処理しつつ、階層的クラスタ構造を生成できるように一般化できるか？
• RQ2 HCCから得られる階層的構造を、後続の表現学習で木構造を保全する形で埋め込むにはどうすればよいか？
• RQ3 最小最大化距離を用いることで、複雑で細長いクラスタ形状のデータセットにおける相関クラスタリングの性能が向上するか？
• RQ4 最小最大化距離と相関クラスタリングの組み合わせにより、非監視クラスタリングにおけるハイパーパramータのチューニングの必要性が排除できるか？
• RQ5 実世界および合成データセットにおいて、HCCはベースライン手法と比較してクラスタリング品質およびクラスタ数の検出能力で優れているか？

主な発見

• HCCは、任意の形状や細長い形状のクラスタを持つデータセットにおいて、完全なクラスタリング（MIおよびランダムインデックス = 1）を達成し、標準的な相関クラスタリング（スコアが0.2未満）を上回る性能を示した。
• 最小最大化距離と相関クラスタリングの組み合わせは、複雑な形状を持つすべてのテストデータセットで完全なクラスタリングを達成し、ハイパーパramータのチューニングを一切必要としなかった。
• HCC+GMM（HCCから得た特徴量を入力としてGMMに使用）は、HCC単体で最終クラスタリングを行う場合よりもわずかに高いクラスタリングスコアを達成した。
• 15,000ページからなるWebデータセットにおいて、HCCおよびHCC+GMMはベースライン手法を上回るクラスタリング性能を示し、本手法のスケーラビリティと有効性を実証した。
• 1,024件の車両運動軌跡データにおいて、HCCは完全な正確性（MI = ランダムインデックス = 1）を達成し、3つの異なるタイプ（左側通過、右側通過、割り込み）を正しく同定した。
• HCCは事前の指定なしに正しいクラスタ数を自動的に特定でき、非監視学習における重要な期待を満たした。