[論文レビュー] Mixed Graph Contrastive Network for Semi-Supervised Node Classification

Xihong Yang, Wang, Yiqi+6 more|arXiv (Cornell University)|Jun 6, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿では、半教師ありノード分類のための新しいグラフ対照学習手法であるMixed Graph Contrastive Network (MGCN) を提案する。MGCNは、補間された潜在表現間の線形予測挙動を強制することで表現崩壊を抑制し、また、クロスビュー間の相関を低減することで、性能を向上させる。MGCNは、二重正則化機構を用いて意思決定境界のマージンを拡大し、特徴の識別性を向上させることで、6つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved promising performance in semi-supervised node classification in recent years. However, the problem of insufficient supervision, together with representation collapse, largely limits the performance of the GNNs in this field. To alleviate the collapse of node representations in semi-supervised scenario, we propose a novel graph contrastive learning method, termed Mixed Graph Contrastive Network (MGCN). In our method, we improve the discriminative capability of the latent embeddings by an interpolation-based augmentation strategy and a correlation reduction mechanism. Specifically, we first conduct the interpolation-based augmentation in the latent space and then force the prediction model to change linearly between samples. Second, we enable the learned network to tell apart samples across two interpolation-perturbed views through forcing the correlation matrix across views to approximate an identity matrix. By combining the two settings, we extract rich supervision information from both the abundant unlabeled nodes and the rare yet valuable labeled nodes for discriminative representation learning. Extensive experimental results on six datasets demonstrate the effectiveness and the generality of MGCN compared to the existing state-of-the-art methods. The code of MGCN is available at https://github.com/xihongyang1999/MGCN on Github.

研究の動機と目的

• グラフニューラルネットワーク（GNN）の強力な特徴学習能力にもかかわらず、依然として解決が難しい問題である、半教師ありノード分類における表現崩壊に対処すること。
• 潜在空間における意思決定境界のマージンを拡大することで、ノード表現の識別能力を向上させること。
• データ増幅されたビュー間の表現の一貫性を向上させるために、相関低減機構を用いること。
• 統一された対照学習フレームワークを通じて、豊富な未ラベルデータと限られたラベルデータを効果的に活用すること。
• 多様なグラフデータセットにおいて、既存の最先端手法を上回る汎用性とロバスト性を持つ手法を開発すること。

提案手法

• 潜在空間における補間ベースのデータ増幅を実行するMixed Graph Moduleを提案し、補間されたサンプル間で予測モデルが線形に変化するように強制する。
• 二つの増幅ビュー間のクロスビュー相関行列を単位行列に近づけることを制約する相関低減機構を導入する。
• 補間ベースのマージン拡大と相関低減を組み合わせることで、クラス間分離性とビュー内一貫性の両方を向上させる。
• 補間を用いて複数のビューを生成し、それらの間の一貫性を強制することで、ラベル付きおよびラベルなしノードを活用する対照学習目的を採用する。
• 補間強度を制御するトレードオフハイパーパrameter α を使用し、実験によりその変動に対してロバストであることを示す。
• t-SNEおよび類似度行列の可視化により、ベースラインと比較して、クラスタリングの向上と表現崩壊の低減を確認する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における補間ベースのデータ増幅は、半教師ありGNNにおける意思決定境界のマージン拡大と表現崩壊の低減を改善できるか？
• RQ2 補間されたビュー間でクロスビュー相関を低減させることで、学習されたノード表現の識別力が向上するか？
• RQ3 提案されたMGCN手法は、多様なグラフデータセットにおいて、最先端手法と比較して性能とロバスト性に優れているか？
• RQ4 個々のモジュール（Mixed Graph Moduleと相関低減）は、全体の性能向上にどの程度寄与しているか？
• RQ5 補間強度やトレードオフパラメータなどのハイパーパラメータの変動に対して、提案手法はロバストか？

主な発見

• MGCNは6つのベンチマークデータセットで最先端の性能を達成し、GCN、GPRGNN、MVGRL、MixupForGraphを含む既存手法を上回る。
• アブレーションスタディにより、Mixed Graph Moduleは6つのデータセット平均で1.81%の性能向上をもたらし、意思決定境界のマージン拡大に寄与することが確認された。
• 相関低減モジュールはDBLPデータセットで追加で2.05%の向上をもたらし、特徴の識別性向上の有効性を示した。
• 統合モデル（MGCN）が最良の結果を達成したため、両モジュールの相乗効果が裏付けられた。
• ハイパーパラメータαに対してロバストであり、異なる値でも最小限の性能変動を示し、安定性が確認された。
• t-SNEおよび類似度行列の可視化により、MGCNはベースラインと比較して、より識別性の高い表現を学習し、明確なクラスタ構造と表現崩壊の低減を実現していることが確認された。