[論文レビュー] Embedding Graph Auto-Encoder with Joint Clustering via Adjacency Sharing.

Xuelong Li, Hongyuan Zhang+1 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Graph Neural Networks参考文献 35被引用数 9

ひとこと要約

本稿では、共有された隣接行列を用いてグラフ自己符号化器の学習とクラスタリングを統合的に最適化する、グラフ畳み込みネットワークに基づくクラスタリングモデルEGAE-JOCASを提案する。リラックス版k-meansとスペクトルクラスタリングを統合的なフレームワーク内で交互に最適化するSGDと閉形式解を組み合わせることで、属性付きグラフクラスタリングベンチマークにおいて高速な収束と優れた性能を達成する。

ABSTRACT

Graph convolution networks have attracted many attentions and several graph auto-encoder based clustering models are developed for attributed graph clustering. However, most existing approaches separate clustering and optimization of graph auto-encoder into two individual steps. In this paper, we propose a graph convolution network based clustering model, namely, Embedding Graph Auto-Encoder with JOint Clustering via Adjacency Sharing ( extit{EGAE-JOCAS}). As for the embedded model, we develop a novel joint clustering method, which combines relaxed k-means and spectral clustering and is applicable for the learned embedding. The proposed joint clustering shares the same adjacency within graph convolution layers. Two parts are optimized simultaneously through performing SGD and taking close-form solutions alternatively to ensure a rapid convergence. Moreover, our model is free to incorporate any mechanisms (e.g., attention) into graph auto-encoder. Extensive experiments are conducted to prove the superiority of EGAE-JOCAS. Sufficient theoretical analyses are provided to support the results.

研究の動機と目的

• クラスタリングと表現学習を別々の段階として扱う従来のグラフ自己符号化器モデルの制限を解消すること。
• グラフ自己符号化器の学習とクラスタリングを同時に最適化する統合フレームワークを構築し、表現品質とクラスタリング精度を向上させること。
• 共有された隣接行列と、SGDおよび閉形式解を用いた交互最適化により、効率的な最適化を可能にすること。
• アテンションモジュールなどの補助メカニズムをグラフ自己符号化器部に統合可能な柔軟なアーキテクチャを設計すること。

提案手法

• 学習されたノード埋め込みに対して、リラックス版k-meansとスレクトルクラスタリングを統合した新しい統合的クラスタリング手法を提案する。
• グラフ畳み込み層間で同じ隣接行列を共有することで、表現学習とクラスタリングの整合性を維持する。
• 自己符号化器の再構成とクラスタリングの2つのコンポonentを交互に最適化する：自己符号化器にはSGD、クラスタリングには閉形式解を用いる。
• 統合最適化フレームワークを損なわずに、任意のアテンションメカニズムをグラフ自己符号化器に統合可能である。
• クラスタリング目的関数を、スレクトルクラスタリングの正則化を加えたリラックス版k-means問題として定式化し、クラスタ分離性を向上させる。
• 交互最適化のクラスタリング段階で閉形式解を活用することで、収束を迅速化する。

実験結果

リサーチクエスチョン

• RQ1 グラフ自己符号化器の学習とクラスタリングを同時に最適化することで、逐次的手法と比較して属性付きグラフクラスタリングの性能が向上するか？
• RQ2 グラフ畳み込み層間で隣接行列を共有することは、クラスタリングおよび表現学習にどのような影響を与えるか？
• RQ3 SGDと閉形式解を用いた交互最適化は、標準的な学習戦略と比較して収束が速くなるか？
• RQ4 モデルは、最適化の安定性と性能を損なわずに、どの程度アテンションメカニズムを統合できるか？

主な発見

• EGAE-JOCASは、複数の属性付きグラフクラスタリングベンチマークで最先端の性能を達成し、従来の自己符号化器ベースのクラスタリングモデルを上回る。
• 共有された隣接行列を用いた統合最適化フレームワークにより、より一貫性のあるノード表現と向上したクラスタリング精度が得られる。
• SGDと閉形式解を用いた交互最適化戦略により、学習中に迅速な収束が確保される。
• モデルのアーキテクチャは、性能や最適化の安定性を損なわずに、アテンションモジュールをグラフ自己符号化器にスムーズに統合可能である。