[論文レビュー] Improved Dual Correlation Reduction Network

Yue Liu, Sihang Zhou+3 more|arXiv (Cornell University)|Feb 25, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、クロスビュー間の特徴およびサンプル相関の冗長性を低減することで、特徴およびサンプルの判別能力を向上させる、新たな深層グラフクラスタリング手法である改善型デュアル相関低減ネットワーク（IDCRN）を提案する。クロスビュー相関行列をそれぞれ単位行列およびクラスタリングで精練された隣接行列に近似し、伝達正則化を組み込むことで、表現の崩壊を緩和し、対照的ベースラインと比較して平均54%のGPUメモリ削減を達成しながら、最先端の性能を実現する。

ABSTRACT

Deep graph clustering, which aims to reveal the underlying graph structure and divide the nodes into different clusters without human annotations, is a fundamental yet challenging task. However, we observed that the existing methods suffer from the representation collapse problem and easily tend to encode samples with different classes into the same latent embedding. Consequently, the discriminative capability of nodes is limited, resulting in sub-optimal clustering performance. To address this problem, we propose a novel deep graph clustering algorithm termed Improved Dual Correlation Reduction Network (IDCRN) through improving the discriminative capability of samples. Specifically, by approximating the cross-view feature correlation matrix to an identity matrix, we reduce the redundancy between different dimensions of features, thus improving the discriminative capability of the latent space explicitly. Meanwhile, the cross-view sample correlation matrix is forced to approximate the designed clustering-refined adjacency matrix to guide the learned latent representation to recover the affinity matrix even across views, thus enhancing the discriminative capability of features implicitly. Moreover, we avoid the collapsed representation caused by the over-smoothing issue in Graph Convolutional Networks (GCNs) through an introduced propagation regularization term, enabling IDCRN to capture the long-range information with the shallow network structure. Extensive experimental results on six benchmarks have demonstrated the effectiveness and the efficiency of IDCRN compared to the existing state-of-the-art deep graph clustering algorithms.

研究の動機と目的

• 異なるクラスに属するノードが同一の潜在埋め込みに符号化される、深層グラフクラスタリングにおける表現の崩壊問題に対処すること。
• 特徴の冗長性を明示的に低減し、視点間で類似度行列の回復を暗黙的に誘導することで、ノード埋め込みの判別能力を向上させること。
• 深層アーキテクチャに依存せずに、伝達正則化項を用いてGCNにおける過剰平滑化を緩和すること。
• 対照学習手法で一般的な負例マイニングの必要性を排除することで、GPUメモリ消費量を削減すること。
• 6つのベンチマークデータセットで最先端のクラスタリング性能を達成し、効率性と表現の明確さを向上させること。

提案手法

• 2つの拡張されたグラフビューからノード表現を学ぶために、シアン・GCNエンコーダを採用する。
• クロスビュー間の特徴相関行列が単位行列に近づくように制約を課し、相互特徴冗長性を低減し、明示的な判別能力を向上させる。
• クロスビュー間のサンプル相関行列がクラスタリングで精練された隣接行列に近づくように制約を課し、視点間で真の類似度構造を回復するようにモデルを誘導する。
• 浅いGCNアーキテクチャにおける過剰平滑化を防ぐために、伝達正則化項を導入し、長距離依存関係を保持する。
• 負例の生成を回避することで、対照学習ベースラインと比較して、GPUメモリ使用量を顕著に削減する。
• 相関最小化とクラスタリングに配慮した正則化を組み合わせたジョイント損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 クロスビュー間の特徴相関を低減することで、深層グラフクラスタリングにおける学習されたノード表現の判別力が向上するか？
• RQ2 視点間で真の類似度行列を回復するようにモデルを誘導することで、明示的な教師信号なしにクラスタリング性能が向上するか？
• RQ3 負例マイニングを相関に基づく正則化に置き換えることで、GPUメモリ消費量を削減しながら、性能を維持または向上させられるか？
• RQ4 浅いGCNアーキテクチャにおいて、伝達正則化項を用いることで過剰平滑化を回避し、競争力のある性能を達成できるか？
• RQ5 提案された二重相関低減機構は、実世界のグラフベンチマークにおいて、表現の崩壊をどれほど効果的に緩和できるか？

主な発見

• IDCRNは、DBLP、CITE、ACMを含む6つのベンチマークデータセットで最先端のクラスタリング性能を達成し、既存のSOTA手法を上回る。
• 負例マイニングの排除により、MVGRLと比較して平均約54%のGPUメモリ使用量を削減した。
• t-SNE可視化では、GAE、MVGRL、SDCNと比較して、IDCRNが潜在空間でより明確で分離可能なクラスタ構造を学習していることが示された。
• IDCRNで学習されたノード埋め込みは、訓練エポックが進むにつれて、ますます構造的で明確に分離されたものになることが確認され、安定的で効果的な最適化が行われていることが示された。
• IDCRNにおけるクロスビュー間のサンプル相関行列は、精練された隣接行列に非常に近づき、視点間での類似度回復が効果的に行われていることが確認された。
• 伝達正則化項は、過剰平滑化を効果的に緩和し、浅いネットワークでも長距離情報の集約を可能にした。