[論文レビュー] Attributed Graph Clustering via Adaptive Graph Convolution

Xiaotong Zhang, Han Liu+2 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Graph Neural Networks参考文献 24被引用数 24

ひとこと要約

本稿では、高次元グラフ畳み込みを用いてグローバルなクラスタ構造を捉え、クラスタ内距離に基づいて最適な畳み込み次数 $k$ を適応的に選択する、新しい属性付きグラフクラスタリング手法であるAdaptive Graph Convolution (AGC)を提案する。AGCは、ノード特徴量とグラフ構造を効果的に統合することで、最小限のハイパーパrameterチューニングで、ベンチマークデータセット上で優れたクラスタリング精度を達成し、最先端の手法を上回る性能を発揮する。

ABSTRACT

Attributed graph clustering is challenging as it requires joint modelling of graph structures and node attributes. Recent progress on graph convolutional networks has proved that graph convolution is effective in combining structural and content information, and several recent methods based on it have achieved promising clustering performance on some real attributed networks. However, there is limited understanding of how graph convolution affects clustering performance and how to properly use it to optimize performance for different graphs. Existing methods essentially use graph convolution of a fixed and low order that only takes into account neighbours within a few hops of each node, which underutilizes node relations and ignores the diversity of graphs. In this paper, we propose an adaptive graph convolution method for attributed graph clustering that exploits high-order graph convolution to capture global cluster structure and adaptively selects the appropriate order for different graphs. We establish the validity of our method by theoretical analysis and extensive experiments on benchmark datasets. Empirical results show that our method compares favourably with state-of-the-art methods.

研究の動機と目的

• 既存のGCNベース手法における固定次数のグラフ畳み込みの限界を解決する。特に、大規模またはスパースな属性付きグラフでは、グローバルなクラスタ構造を捉えることが難しい。
• 異なるグラフタイプに適応的に最適な畳み込み次数 $k$ を選択する手法を開発し、多様なネットワークトポロジーにおいてクラスタリング性能を向上させる。
• 深層ニューラルネットワークの学習を必要とせず、ノード属性とグラフ構造の効果的な統合モデリングを可能にし、効率性と安定性を向上させる。
• 過剰平滑化を防ぎ、クラスタリングに適した高品質な特徴表現を保証する理論的根拠に基づく $k$ 選択基準を確立する。

提案手法

• ノード特徴量を平滑化するための $k$ 階グラフ畳み込みを低域フィルタとして提案し、隣接ノードを超えた長距離依存関係を捉える。
• クラスタ内距離 $d_{\text{intra}}(k)$ を根拠とした適応的 $k$ 選択戦略を導入し、$d_{\text{intra}}(k-1) > 0$ となる $k$ を選択することで過剰平滑化を回避する。
• 平滑化された特徴量に対してスペクトルクラスタリングを適用し、最終的なノードクラスタ割り当てを取得する。これにより、特徴学習とクラスタリングを分離する。
• トレーニング不要な解析的定式化を用いたグラフ畳み込みを採用し、深層ニューラルネットワークの学習を回避することで計算コストを低減する。
• 選択された $k$ が安定的かつ高品質なクラスタ分割に対応することを保証する検証基準を導入する。
• スケーラビリティと効率性を設計に組み込み、実行時間はモデルの深さに依存せず、$k$ とグラフサイズにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 固定次数のGCN層と比較して、高次元グラフ畳み込みはどのようにクラスタリング性能を向上させるか？
• RQ2 畳み込み次数 $k$ の適応的選択は、多様な属性付きグラフ構造においてより良いクラスタリング結果をもたらすか？
• RQ3 提案されたクラスタ内距離基準 $d_{\text{intra}}(k-1) > 0$ は、過剰平滑化を防ぐ最適な $k$ 値を信頼性高く特定できるか？
• RQ4 GAE、MGAE、ARGE などの最先端のGCNベースの属性付きクラスタリング手法と比較して、AGCのパフォーマンスと効率性はどの程度か？
• RQ5 AGCは、スパースな引用ネットワークや高密度なウェブページネットワークを含む、さまざまなタイプの属性付きグラフにどの程度一般化可能か？

主な発見

• AGCは、特徴量のみ、または構造のみを用いたベースラインと比較して、大きな差を示し、属性と構造の統合モデリングの有効性を実証する。
• Cora、Citeseer、Pubmed の各データセットにおいて、最も強力なベースラインであるMGAEを顕著に上回り、正確度（最大4.5ポイントの向上）および正規化相互情報量の両面で改善を示す。
• 選択された $k$ 値（Cora:12, Citeseer:55, Pubmed:60, Wiki:8）は、範囲 [0,60] 内の最適 $k$ とよく一致しており、適応的選択基準の有効性を裏付ける。
• AGCは高い安定性を示し、全データセットで正確度、NMI、F1の標準偏差が1%未満にとどまる。これは、強靭性の高さを示している。
• 高次畳み込みを用いても、ARGE や ARVGE などの学習ベース手法よりも効率的であり、Pubmed のような大規模グラフでも推論時間が速い。
• 過剰平滑化を回避していることが、$d_{\text{intra}}(k) \leq 0$ の場合に性能が低下するという事実によって裏付けられており、選択基準の妥当性が確認される。