[論文レビュー] CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering

Guangyu Huo, Yong Zhang+4 more|arXiv (Cornell University)|Jan 18, 2021

Advanced Graph Neural Networks参考文献 50被引用数 51

ひとこと要約

本稿では、GCNの過剰平滑化を軽減するために、コンテンツに適した自己符号化器（CAE）とグラフ畳み込み自己符号化器（GAE）を、新規のクロスアテンションメカニズムで統合する、CaEGCNと呼ばれるクロスアテンション統合型の深層クラスタリングフレームワークを提案する。データの内容とグラフ関係を同時に再構築し、自己教師付きの一貫性を強制することで、多様なデータセットで最先端のクラスタリング性能を達成し、ベースラインより最大28.48%の精度向上を達成した。

ABSTRACT

With the powerful learning ability of deep convolutional networks, deep clustering methods can extract the most discriminative information from individual data and produce more satisfactory clustering results. However, existing deep clustering methods usually ignore the relationship between the data. Fortunately, the graph convolutional network can handle such relationship, opening up a new research direction for deep clustering. In this paper, we propose a cross-attention based deep clustering framework, named Cross-Attention Fusion based Enhanced Graph Convolutional Network (CaEGCN), which contains four main modules: the cross-attention fusion module which innovatively concatenates the Content Auto-encoder module (CAE) relating to the individual data and Graph Convolutional Auto-encoder module (GAE) relating to the relationship between the data in a layer-by-layer manner, and the self-supervised model that highlights the discriminative information for clustering tasks. While the cross-attention fusion module fuses two kinds of heterogeneous representation, the CAE module supplements the content information for the GAE module, which avoids the over-smoothing problem of GCN. In the GAE module, two novel loss functions are proposed that reconstruct the content and relationship between the data, respectively. Finally, the self-supervised module constrains the distributions of the middle layer representations of CAE and GAE to be consistent. Experimental results on different types of datasets prove the superiority and robustness of the proposed CaEGCN.

研究の動機と目的

• 既存の深層クラスタリング手法がデータ間の構造的関係を無視するという限界に対処すること。
• 深層クラスタリングにおけるグラフ畳み込みネットワーク（GCN）の過剰平滑化問題を軽減すること。
• エンドツーエンドのフレームワークを通じて、データの内容とグラフ構造という異種表現を統合することで、クラスタリング性能を向上させること。
• CAEとGAEモジュールからの中間表現を一致させることで、最適なクラスタリングへとモデルを導く自己教師付きモジュールを開発すること。

提案手法

• コンテンツ自己符号化器（CAE）とグラフ畳み込み自己符号化器（GAE）からの表現を段階的に統合するクロスアテンション統合モジュールを提案し、判別的特徴を強調するための注目重みを割り当てる。
• ノードの内容再構築とグラフ構造再構築の両方の損失関数を備えた、新規のGAEモジュールを導入し、表現品質を向上させる。
• CAEとGAEの中間層表現の分布を一貫性を持たせる自己教師付きモジュールを採用し、クラスタリング指向の特徴学習を促進する。
• 2段階の訓練プロセスを採用：まずCAEとGAEモジュールを別々に事前学習し、その後、CaEGCN全体をエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 クロスアテンション統合は、コンテンツ表現と構造的表現を効果的に統合し、深層クラスタリングを向上させることができるか？
• RQ2 提案された統合メカニズムは、深層クラスタリングにおけるGCNの過剰平滑化問題をどのように軽減するか？
• RQ3 別々のコンテンツ再構築損失とグラフ構造再構築損失を用いることで、単一損失ベースラインと比較して、クラスタリング性能がどの程度向上するか？
• RQ4 CaEGCNは、テキスト、人間行動、画像データセットを含む多様なデータタイプに対して、どの程度の頑健性を示すか？

主な発見

• ACMデータセットでは、VGAEより28.48%の精度向上を達成し、高次元の構造的関係を効果的に処理できることを示した。
• DBLPデータセットでは、ARGAより19.47%、DAEGCより12.48%の精度向上を達成し、複雑なグラフ構造データに対して有効であることを確認した。
• アブレーションスタディの結果、クロスアテンションモジュールを削除すると性能低下が最も顕著に現れ、異種表現統合におけるその重要性を裏付けた。
• 自己教師付きモジュールは中間表現の一致を促進し、クラスタリング性能を顕著に向上させた。自己教師付き学習なしのCaEGCNは、全データセットで性能が低下した。
• USPSデータセットでは、グラフ接続性が限定的であっても、強力な性能を維持した。これは、初期グラフが疎または低品質であっても頑健であることを示している。
• 5つのベンチマークデータセットすべてで最先端の結果を達成し、前回のSOTA手法S-DCNより3.4%の精度向上を実現した。