[論文レビュー] Consensus Clustering: An Embedding Perspective, Extension and Beyond

Hongfu Liu, Zhiqiang Tao+1 more|arXiv (Cornell University)|May 31, 2019

Complex Network Analysis Techniques参考文献 39被引用数 9

ひとこと要約

本稿は、分類的クラスタ割り当てを連続的埋め込みに変換することで、頑健性と一貫性を向上させる表現学習問題としてのコンSENSUSクラスタリングの統合的埋め込みベースの視点を提示する（例：スペクトル分解、2値符号化、グラフニューラルネットワークを用いて）。従来のコンセンサスクラスタリング手法を共通の枠組みで統一し、ファジー、マルチビュー、コクラスタリングの設定へと拡張し、制約付きクラスタリング、ドメイン適応、特徴選択、外れ値検出における応用を示している。

ABSTRACT

Consensus clustering fuses diverse basic partitions (i.e., clustering results obtained from conventional clustering methods) into an integrated one, which has attracted increasing attention in both academic and industrial areas due to its robust and effective performance. Tremendous research efforts have been made to thrive this domain in terms of algorithms and applications. Although there are some survey papers to summarize the existing literature, they neglect to explore the underlying connection among different categories. Differently, in this paper we aim to provide an embedding prospective to illustrate the consensus mechanism, which transfers categorical basic partitions to other representations (e.g., binary coding, spectral embedding, etc) for the clustering purpose. To this end, we not only unify two major categories of consensus clustering, but also build an intuitive connection between consensus clustering and graph embedding. Moreover, we elaborate several extensions of classical consensus clustering from different settings and problems. Beyond this, we demonstrate how to leverage consensus clustering to address other tasks, such as constrained clustering, domain adaptation, feature selection, and outlier detection. Finally, we conclude this survey with future work in terms of interpretability, learnability and theoretical analysis.

研究の動機と目的

• 明示的な目的関数を有する手法とない手法を含む、分散したコンセンサスクラスタリング手法を、統一的な埋め込みベースのフレームワークで統合し、それらの背後にある隠れた関係を明らかにすること。
• 従来のサーベイが理論的・構造的理解に欠ける問題を解決するため、コンセンサスクラスタリングをグラフ埋め込みと表現学習に結びつける一貫性のある埋め込み視点を確立すること。
• ファジークラスタリング、マルチビュークラスタリング、コクラスタリングを含む、新たな設定へのコンセンサスクラスタリングの拡張を図り、その適用範囲を広げること。
• 制約付きクラスタリング、ドメイン適応、特徴選択、外れ値検出といった他の教師なし学習タスクに統合することで、コンセンサスクラスタリングの汎用性を示すこと。
• 今後の研究に向け、解釈可能性、学習可能性、理論的根拠に基づいたコンセンサスクラスタリングにおける主要な未解決課題を特定・概説すること。

提案手法

• スペクトル分解、2値符号化、マージナライズドノイズ除去、ランダム表現といった戦略を用いて、カテゴリカルな基本的分割を連続的埋め込みに変換する。
• 共相関行列とデータ特徴から同時に学習することができる、グラフ畳み込みネットワーク（GCN）を用いた学習可能なコンセンサスグラフ埋め込みネットワークを提案する。
• 層間伝搬を有するマルチレイヤーGCNアーキテクチャを採用し、$ Z^{(l+1)} = \varphi(\tilde{D}^{-\frac{1}{2}}\tilde{S}\tilde{D}^{-\frac{1}{2}}Z^{(l)}W^{(l)}) $ と定式化する。ここで $ \tilde{S} $ は共相関行列、$ Z^{(0)} = X $ である。
• 従来のk-NNやラプラシアングラフに代わる、頑健でコンセンサス駆動のグラフ構造として共相関行列を用いる。
• 特徴選択、外れ値検出、ドメイン適応などの下流タスクに統合する際、高品質な偽ラベルを生成することで、コンセンサスクラスタリングを活用する。
• 基本的分割の生成と統合を同時に最適化するエンドツーエンドの学習可能なコンセンサスフレームワークを提案し、ドロップアウトやその他のメカニズムを用いて多様性を確保する可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 明示的な目的関数を有する手法とない手法を含む、コンセンサスクラスタリングを統一する埋め込みベースのフレームワークは、どのように構築可能か？
• RQ2 スペクトル、2値、ノイズ除去といった、より頑健で解釈可能なコンセンサスクラスタリングを可能にする主要な埋め込み戦略は何か？
• RQ3 ファジー、マルチビュー、コクラスタリングといった複雑な設定を扱うために、コンセンサスクラスタリングはどのように拡張可能か？
• RQ4 制約付きクラスタリング、ドメイン適応、特徴選択といった、より広範な教師なし学習タスクを解決するために、コンセンサスクラスタリングはどのように活用可能か？
• RQ5 解釈可能性、エンドツーエンドの学習可能性、一般化性に関して、コンセンサスクラスタリングにおける根本的な理論的・実用的課題は何か？

主な発見

• 埋め込みの視点により、明示的な目的関数を有する手法とない手法の2大分類が、基本的分割の変換表現上で共通して動作することを示し、コンセンサスクラスタリングを統合的に統一できた。
• スペクトル分解と共相関行列に基づく埋め込みは、ノイズや多様な入力分割に対しても頑健で安定した分割を実現する強固な基盤を提供する。
• 提案されたGCNベースのコンセンサスグラフ埋め込みネットワークは、共相関行列から意味的で次元が低い表現を学習し、下流タスクにおけるクラスタリング性能を向上させる。
• コンセンサスクラスタリングは、コンセンサスによって生成された偽ラベルを用いることで、制約付きクラスタリング、ドメイン適応、特徴選択、外れ値検出といったタスクに効果的に再利用可能である。
• 本研究では、3つの主要な未解決課題を同定した：解釈可能性（クラスタを元の特徴に結びつけること）、学習可能性（分割と統合のエンドツーエンド同時最適化）、理論的分析（一般化、収束性、誤差境界）。
• 実験的結果から、埋め込みベースのコンセンサスクラスタリングが、特にノイズの多い特徴や異種のクラスタリングソース統合において、従来手法を上回る頑健性と安定性を示していることが示唆された。