[論文レビュー] Cluster-guided Contrastive Graph Clustering Network

Xihong Yang, Yue Liu+7 more|arXiv (Cornell University)|Jan 3, 2023

Recommender Systems and Techniques被引用数 6

ひとこと要約

本稿では、クラスタリング結果から得られる高信頼度の偽ラベルを活用することで、正例および負例の品質を向上させる、クラスターガイドドコントラスト型グラフクラスタリングネットワークCCGCを提案する。複雑なデータ拡張に依存するのではなく、同一の2つのセマンティックビューを生成する非共有シアンズエンコーダーを用い、同じクラスタ内に属する判別性の高い正例ペアを構築し、クラスタ中心を信頼性の高い負例として使用することで、6つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Benefiting from the intrinsic supervision information exploitation capability, contrastive learning has achieved promising performance in the field of deep graph clustering recently. However, we observe that two drawbacks of the positive and negative sample construction mechanisms limit the performance of existing algorithms from further improvement. 1) The quality of positive samples heavily depends on the carefully designed data augmentations, while inappropriate data augmentations would easily lead to the semantic drift and indiscriminative positive samples. 2) The constructed negative samples are not reliable for ignoring important clustering information. To solve these problems, we propose a Cluster-guided Contrastive deep Graph Clustering network (CCGC) by mining the intrinsic supervision information in the high-confidence clustering results. Specifically, instead of conducting complex node or edge perturbation, we construct two views of the graph by designing special Siamese encoders whose weights are not shared between the sibling sub-networks. Then, guided by the high-confidence clustering information, we carefully select and construct the positive samples from the same high-confidence cluster in two views. Moreover, to construct semantic meaningful negative sample pairs, we regard the centers of different high-confidence clusters as negative samples, thus improving the discriminative capability and reliability of the constructed sample pairs. Lastly, we design an objective function to pull close the samples from the same cluster while pushing away those from other clusters by maximizing and minimizing the cross-view cosine similarity between positive and negative samples. Extensive experimental results on six datasets demonstrate the effectiveness of CCGC compared with the existing state-of-the-art algorithms.

研究の動機と目的

• 既存のコントラスト型グラフクラスタリング手法が脆弱なデータ拡張に依存しているという限界を是正すること。
• 2つの非共有エンコーダービューにおける高信頼度クラスタからの構築により、正例の判別性を向上させること。
• ランダムまたは任意のサンプリングに代えて、クラスタ間中心を用いることで、負例の信頼性を高めること。
• エッジドロップや特徴マスキングなどの任意のグラフデータ拡張が引き起こすセマンティックドリフトを解消すること。
• 複雑な拡張や事前学習モデルに依存せずに、ディープグラフクラスタリングにおける最先端の性能を達成すること。

提案手法

• データ拡張によるセマンティックドリフトを回避するため、非共有シアンズエンコーダーを用いてグラフの2つの異なるビューを生成する。
• 2つのビュー間で同じ高信頼度クラスタに属するノードをペアリングすることで、正例を構築する。
• 異なる高信頼度クラスタのクラスタ中心を、意味的かつ信頼性の高い負例として扱う。
• 正例ペアに対してはクロスビュー間のコサイン類似度を最大化し、負例ペアに対しては最小化するコントラスト型目的関数を採用する。
• クラスタの信頼度に基づいて高信頼度の偽ラベルをフィルタリングする動的しきい値戦略を統合する。
• ラプラシアンフィルタを用いた自己蒸留機構により、反復的にノード表現を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 高信頼度のクラスタリング偽ラベルは、コントラスト型グラフクラスタリングにおける正例品質の向上に有効に活用可能か？
• RQ2 非共有シアンズエンコーダーに置き換えることで、データ拡張に起因するセマンティックドリフトを低減し、表現学習を改善できるか？
• RQ3 ランダムに選択されたノードよりも、クラスタ中心がより信頼性の高い負例として機能できるか？
• RQ4 本手法は、クラスタリング精度と頑健性の観点で、最先端のベースラインと比較して優れているか？
• RQ5 信頼度しきい値τやバランス係数αといったハイパーパrameterの選択に対して、本手法は頑健か？

主な発見

• CCGCは6つのベンチマークデータセットで最先端の性能を達成し、NMI、F1、ARIの指標で既存手法を上回った。
• CORAデータセットでは、NMIが87.89±1.71、F1が55.24±1.69、ARIが25.52±2.09を達成し、すべてのベースラインを上回った。
• アブレーションスタディの結果、判別性の高い正例（DPS）と信頼性の高い負例（RNS）の両方の戦略が不可欠であり、いずれかを除去すると性能が著しく低下することが確認された。
• 非共有シアンズエンコーダーの使用は、エッジドロップや特徴マスキング、グラフ拡散といった標準的なデータ拡張法を上回った。
• 本モデルはハイパーパrameterの変動に対して頑健であり、複数のデータセットでτ（信頼度しきい値）およびα（バランス係数）の変化に対して感度が低かった。
• t-SNE可視化により、CCGCが既存手法よりもより判別性が高く、明確に分離されたクラスタ構造を学習していることが確認された。