[論文レビュー] CAGNN: Cluster-Aware Graph Neural Networks for Unsupervised Graph Representation Learning

Yanqiao Zhu, Yichen Xu+3 more|arXiv (Cornell University)|Sep 3, 2020

Advanced Graph Neural Networks参考文献 40被引用数 24

ひとこと要約

CAGNN は自己教師ありグラフニューラルネットワークであり、クラスターアウェアネスを活用することで、非教師ありグラフ表現学習を向上させる。ノード埋め込みに対して反復的なクラスタリングを実行し、クラスタ割り当てを偽ラベルとして用いて学習を行う一方で、クラス内エッジを強化しクラス間エッジを抑制することでグラフトポロジーを最適化する。この手法により、最先端の手法と比較してノードクラスタリングベンチマークで7%以上の精度向上を達成した。

ABSTRACT

Unsupervised graph representation learning aims to learn low-dimensional node embeddings without supervision while preserving graph topological structures and node attributive features. Previous graph neural networks (GNN) require a large number of labeled nodes, which may not be accessible in real-world graph data. In this paper, we present a novel cluster-aware graph neural network (CAGNN) model for unsupervised graph representation learning using self-supervised techniques. In CAGNN, we perform clustering on the node embeddings and update the model parameters by predicting the cluster assignments. Moreover, we observe that graphs often contain inter-class edges, which mislead the GNN model to aggregate noisy information from neighborhood nodes. We further refine the graph topology by strengthening intra-class edges and reducing node connections between different classes based on cluster labels, which better preserves cluster structures in the embedding space. We conduct comprehensive experiments on two benchmark tasks using real-world datasets. The results demonstrate the superior performance of the proposed model over existing baseline methods. Notably, our model gains over 7% improvements in terms of accuracy on node clustering over state-of-the-arts.

研究の動機と目的

• 既存の GNN がラベル付きノードを必要としているという制限を克服し、効果的な非教師ありグラフ表現学習を可能にすること。
• 人為的ラベルが存在しない状況において、グラフに内在する自然なクラスタ構造を監視信号として活用すること。
• GNN のメッセージパッシング中にノイズの多いクラス間エッジがノード埋め込みの品質に与える悪影響を軽減すること。
• クラスタ割り当てに基づいてグラフトポロジーを最適化することで、学習されたノード埋め込みの判別力を向上させること。
• クラスタリングとトポロジー適応を統合した自己教師あり学習パラダイムを構築し、より良い表現学習を実現すること。

提案手法

• CAGNN は k-means を用いてノード埋め込みに対して反復的なクラスタリングを実行し、自己教師あり学習のための偽ラベルを生成する。
• モデルは交差エントロピー損失を用いてクラスタ割り当てを予測するように訓練され、真のラベルが不要なエンドツーエンド最適化が可能になる。
• トポロジー最適化モジュールは、クラスタラベルを用いて同じクラスタ内でのエッジ強化と異なるクラスタ間でのエッジ弱化を実行する。
• 最適化されたグラフ構造を次の GNN 层で使用することで、メッセージパッシング中のクラス間ノイズノードの影響を低減する。
• この最適化ステップで正規化されたアテンション重みを計算するために、Greenkhorn を用いたアルゴリズムを採用している。
• ノード埋め込みは、最適化された近傍から特徴を集約する GNN エンコーダーを経由して更新され、クラスタ構造が保持される。

実験結果

リサーチクエスチョン

• RQ1 グラフ内に存在するクラスタ構造を、非教師あり GNN 学習の自己教師あり信号として効果的に活用できるか？
• RQ2 クラス内エッジの強化とクラス間エッジの抑制によってトポロジーを最適化することで、ノード表現の品質にどのような影響を与えるか？
• RQ3 提案手法のクラスターアウェアネスに基づく学習方式は、最先端の非教師あり手法と比較して、下流のノードクラスタリングタスクでどの程度性能向上を達成するか？
• RQ4 クラスタリングに基づく偽ラベルとトポロジー最適化の組み合わせは、より判別力があり構造的に一貫性のあるノード埋め込みを生成できるか？
• RQ5 本手法は、クラスタ密度やノイズレベルが異なる実世界のグラフデータセットに対しても一般化可能か？

主な発見

• CAGNN はベンチマークデータセット上で、最先端の非教師あり GNN 手法と比較して、ノードクラスタリング精度で7%以上の向上を達成した。
• t-SNE を用いた可視化では、CAGNN の埋め込みが2次元投影において明確に分離され、 well-defined なクラスタを形成しているのに対し、元の特徴量は構造を持たないことが明らかになった。
• 最適化されたグラフトポロジーは、ノイズの多いクラス間エッジの影響を低減することで、モデルが異なるクラスを区別する能力を著しく向上させた。
• クラスタ偽ラベルを用いた自己教師あり学習スキームにより、ラベル付きノードが一切不要な状態で効果的なパrameter 最適化が可能となった。
• Cora などの複数の実世界データセットにおいて、本手法は強力で効果的な性能を示し、優れたクラスタリング性能を達成した。
• アブレーションスタディの結果、クラスターアウェアネスに基づく学習とトポロジー最適化の両方のモジュールが、モデルの性能向上に不可欠であることが確認された。