[論文レビュー] Deep Attention-guided Graph Clustering with Dual Self-supervision

Zhihao Peng, Hui Liu+2 more|arXiv (Cornell University)|Nov 10, 2021

Advanced Graph Neural Networks参考文献 45被引用数 5

ひとこと要約

本稿では、特徴表現とクラスタリングを、異種性別およびスケール別統合モジュール、およびソフトおよびハードの擬似ラベルを用いた二重自己教師付き学習により向上させる、DAGCと呼ばれる深層グラフクラスタリング手法を提案する。本手法は最先端の性能を達成し、既存手法と比較して平均でARIが10.29%以上向上している。

ABSTRACT

Existing deep embedding clustering works only consider the deepest layer to learn a feature embedding and thus fail to well utilize the available discriminative information from cluster assignments, resulting performance limitation. To this end, we propose a novel method, namely deep attention-guided graph clustering with dual self-supervision (DAGC). Specifically, DAGC first utilizes a heterogeneity-wise fusion module to adaptively integrate the features of an auto-encoder and a graph convolutional network in each layer and then uses a scale-wise fusion module to dynamically concatenate the multi-scale features in different layers. Such modules are capable of learning a discriminative feature embedding via an attention-based mechanism. In addition, we design a distribution-wise fusion module that leverages cluster assignments to acquire clustering results directly. To better explore the discriminative information from the cluster assignments, we develop a dual self-supervision solution consisting of a soft self-supervision strategy with a triplet Kullback-Leibler divergence loss and a hard self-supervision strategy with a pseudo supervision loss. Extensive experiments validate that our method consistently outperforms state-of-the-art methods on six benchmark datasets. Especially, our method improves the ARI by more than 18.14% over the best baseline.

研究の動機と目的

• 特徴埋め込みとクラスタ割り当てから得られる既存の情報を利用しきれていない既存の深層埋め込みクラスタリング手法の限界を是正すること。
• 自己符号化器とGCN特徴の間の固定統合戦略の欠如、マルチスケール特徴統合の欠落、複数の確率分布間の曖昧な選択という問題を克服すること。
• 異種性およびマルチスケール特徴を適応的に統合するとともに、二重自己教師付き学習によって高信頼度のクラスタ割り当てを活用する統一フレームワークを設計すること。
• 特徴統合のための動的学習アテンション重みとクラスタ割り当ての一貫性の向上により、クラスタリング性能を向上させること。

提案手法

• 異種性別統合（HWF）モジュールは、各層で深層自己符号化器（DAE）とグラフ畳み込みネットワーク（GCN）の特徴を、学習可能なアテンションメカニズムを用いて適応的に統合する。
• スケール別統合（SWF）モジュールは、学習されたアテンション重みを用いて、ネットワークの異なる層間のマルチスケール特徴を動的に連結する。
• 分布別統合（DWF）モジュールは、DAEとGCN出力の確率分布をソフトマックス関数で統合し、クラスタ割り当ての質を向上させる。
• ソフト自己教師付き学習（SSS）戦略は、予測クラスタ分布とターゲット分布の間のカルバック・ライブラー発散を最小化することで、分布の整合性を図る。
• ハード自己教師付き学習（HSS）戦略は、高信頼度の予測に対して1ホットエンコーディングを強制することで、クラスタ割り当てを精緻化するための擬似教師付き損失を用いる。
• モデルは、特徴学習、分布整合性、および擬似ラベル精緻化をバランスさせる共同最適化目的関数により、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 深層自己符号化器とグラフ畳み込みネットワークの異種特徴を効果的に統合することで、グラフクラスタリングにおける表現学習をどのように向上させられるか？
• RQ2 深層グラフクラスタリングにおいて、マルチスケール特徴統合がクラスタリング性能に与える影響は何か？
• RQ3 高信頼度のクラスタ割り当てを擬似ラベルとして活用することで、自己教師付き学習によりクラスタリングをどのように改善できるか？
• RQ4 クラスタリング結果の向上を目的としたソフトおよびハード自己教師付き学習戦略の最適なバランスは何か？
• RQ5 特に擬似ラベル選択のしきい値に影響を受けるが、提案手法のハイパーパrameter設定に対してどれほど頑健か？

主な発見

• 提案手法DAGCは、9つのベンチマークデータセットにおいて、最良のベースラインと比較して調整ランダムインデックス（ARI）が10.29%以上相対的に向上した。
• モデルはハイパーパrameter λ₃ に対して強く頑健であり、広範かつ現実的な値の範囲で最適な性能を維持している。
• 擬似ラベル選択のしきい値 r = 0.8 が最良のクラスタリング性能を示した。これより低い値はノイズの多いラベルを導入し、高い値はラベル伝搬効果を低下させる。
• HWFおよびSWFモジュールで学習されたアテンション重みは、クラスタリング性能と強く相関しており、アテンション重みが高い特徴は一貫して優れたクラスタリング結果をもたらす。
• t-SNE可視化により、DAGCは最も分離性が高く、密な内部クラスタリングを示す表現を生成することが確認された。
• アブレーションスタディにより、HWF、SWF、DWF、SSS、HSSの各モジュールが最終性能に顕著な寄与をしていることが確認され、特に二重自己教師付き学習戦略が顕著に有効であることが示された。