[論文レビュー] Attributed Graph Clustering: A Deep Attentional Embedding Approach

Chun Wang, Shirui Pan+4 more|arXiv (Cornell University)|Jun 15, 2019

Advanced Graph Neural Networks参考文献 18被引用数 48

ひとこと要約

DAEGC は、グラフ注意自動エンコーダと自己訓練クラスタリングモジュールを用いて、属性グラフの目的指向のグラフ埋め込みとクラスタリングを共同学習し、最先端ベースラインより優れたクラスタリング性能を達成します。

ABSTRACT

Graph clustering is a fundamental task which discovers communities or groups in networks. Recent studies have mostly focused on developing deep learning approaches to learn a compact graph embedding, upon which classic clustering methods like k-means or spectral clustering algorithms are applied. These two-step frameworks are difficult to manipulate and usually lead to suboptimal performance, mainly because the graph embedding is not goal-directed, i.e., designed for the specific clustering task. In this paper, we propose a goal-directed deep learning approach, Deep Attentional Embedded Graph Clustering (DAEGC for short). Our method focuses on attributed graphs to sufficiently explore the two sides of information in graphs. By employing an attention network to capture the importance of the neighboring nodes to a target node, our DAEGC algorithm encodes the topological structure and node content in a graph to a compact representation, on which an inner product decoder is trained to reconstruct the graph structure. Furthermore, soft labels from the graph embedding itself are generated to supervise a self-training graph clustering process, which iteratively refines the clustering results. The self-training process is jointly learned and optimized with the graph embedding in a unified framework, to mutually benefit both components. Experimental results compared with state-of-the-art algorithms demonstrate the superiority of our method.

研究の動機と目的

• 構造とノード内容を同時に活用して、属性グラフのクラスタリングを動機づける。
• 埋め込み学習とクラスタリングを統合する、目的指向のエンドツーエンドフレームワークを開発する。
• グラフ注意機構を活用して高次の近傍情報を捉える。
• 埋め込み学習を監督する自己訓練クラスタリングモジュールを導入する。
• 標準ベンチマークデータセットで最先端ベースラインを上回る優位性を実証する。

提案手法

• グラフ構造とノード属性を潜在表現へ融合するグラフ注意自動エンコーダを提案する。
• ノード属性とトポロジーから計算されるアテンション係数を用いた2層のグラフ注意エンコーダを用い、近接行列 M を介して高次の隣接情報を取り込む。
• 内積によって隣接行列を再構成するデコードを行い、再構成誤差 L_r を最小化する。
• ソフト割り当て Q とターゲット分布 P の間のKL発散 L_c を最小化する自己訓練クラスタリングモジュールを導入し、P はStudent-t類似度により導出される。
• L = L_r + γ L_c を同時に最適化して、埋め込みとクラスタリングを同時に学習する。
• 学習済みの埋め込みに対してk-meansでクラスタリングを初期化し、訓練中にクラスタ中心 μ を更新する。

実験結果

リサーチクエスチョン

• RQ1 属性グラフのグラフクラスタリングを改善するための、目的指向の埋め込みフレームワークをどのように設計できるか？
• RQ2 グラフ注意ベースのエンコーダは、構造と内容を効果的に融合してクラスタリングに適した埋め込みを生成できるか？
• RQ3 自己訓練クラスタリングモジュールは、埋め込み学習を監督することでクラスタリング品質を向上させるか？
• RQ4 標準データセット上で、最先端のグラフクラスタリング手法に対してどのような性能向上を達成できるか？

主な発見

Dataset	Algorithm	ACC	NMI	F-score	ARI
Cora	DAEGC (C&S)	0.704	0.528	0.682	0.496
Cora	VGAE (C&S)	0.592	0.408	0.456	0.347
Cora	GAE (C&S)	0.530	0.397	0.415	0.293
Citeseer	DAEGC (C&S)	0.671	0.266	0.659	0.278
Citeseer	VGAE (C&S)	0.619	0.216	0.478	0.201
Citeseer	GAE (C&S)	0.632	0.249	0.511	0.246
Pubmed	DAEGC (C&S)	0.671	0.266	0.659	0.278
Pubmed	VGAE (C&S)	0.619	0.216	0.478	0.201
Pubmed	GAE (C&S)	0.632	0.249	0.511	0.246

• DAEGC は ACC、NMI、F-score、ARI のすべてで標準の属性グラフクラスタリングベンチマークにおいてベースラインを上回る。
• 構造と内容をグラフ注意で統合することで、構造のみまたは内容のみの手法を超えるクラスタリング性能を向上させる。
• 自己訓練クラスタリング成分は、クラスタリングへ向けた埋め込み最適化を導く監視を提供する。
• Cora では DAEGC は ACC 0.704、NMI 0.528、F-score 0.682、ARI 0.496。
• Citeseer では DAEGC は ACC 0.671、NMI 0.266、F-score 0.659、ARI 0.278。
• PubMed では DAEGC は ACC 0.671、NMI 0.266、F-score 0.659、ARI 0.278。