[論文レビュー] MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning

Xumeng Gong, Cheng Yang+1 more|arXiv (Cornell University)|Dec 14, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本論文は、グラフデータの拡張やパラメータの摂動に依存せずに、ビュー符号化器のアーキテクチャを操作することによって、ビューの多様性を向上させる新しいグラフ対照学習フレームワーク、MA-GCLを提案する。3つのモデル拡張テクニック（非対称、ランダム、シャッフル）を導入することで、6つのノード分類ベンチマークのうち5つで最先端性能を達成し、強力なベースラインよりも相対的に最大2.7%の向上を達成した。これは、単純なベースモデルに適用しても成立する。

ABSTRACT

Contrastive learning (CL), which can extract the information shared between different contrastive views, has become a popular paradigm for vision representation learning. Inspired by the success in computer vision, recent work introduces CL into graph modeling, dubbed as graph contrastive learning (GCL). However, generating contrastive views in graphs is more challenging than that in images, since we have little prior knowledge on how to significantly augment a graph without changing its labels. We argue that typical data augmentation techniques (e.g., edge dropping) in GCL cannot generate diverse enough contrastive views to filter out noises. Moreover, previous GCL methods employ two view encoders with exactly the same neural architecture and tied parameters, which further harms the diversity of augmented views. To address this limitation, we propose a novel paradigm named model augmented GCL (MA-GCL), which will focus on manipulating the architectures of view encoders instead of perturbing graph inputs. Specifically, we present three easy-to-implement model augmentation tricks for GCL, namely asymmetric, random and shuffling, which can respectively help alleviate high- frequency noises, enrich training instances and bring safer augmentations. All three tricks are compatible with typical data augmentations. Experimental results show that MA-GCL can achieve state-of-the-art performance on node classification benchmarks by applying the three tricks on a simple base model. Extensive studies also validate our motivation and the effectiveness of each trick. (Code, data and appendix are available at https://github.com/GXM1141/MA-GCL. )

研究の動機と目的

• 既存のグラフ対照学習（GCL）手法における限界、すなわち同一の符号化器と弱いデータ拡張による、対照ビューが互いに類似していることに対処すること。
• グラフ入力を変更せずに、対照ビューの多様性を高めることで、タスクに不要なノイズを学習された表現から除去すること。
• ビュー符号化器のアーキテクチャを意図的に変化させることで、表現学習を向上させる、新たなパラダイム「モデル拡張」を提案すること。
• 符号化器のアーキテクチャを操作することが、グラフ入力やモデルパラメータの摂動よりも効果的で安全であることを検証すること。

提案手法

• 同じ数の伝搬演算子を使用するのではなく、異なる数の伝搬演算子を持つ2つのビュー符号化器を用いる非対称戦略を導入し、高周波数ノイズをフィルタリングする。
• 各訓練エポックにおいて、伝搬演算子の数をランダムに変化させることで、訓練インスタンスを豊かにするランダム戦略を採用する。
• 2つのビュー符号化器における伝搬と変換演算子の順序を並び替えることで、より安全な拡張を生成するシャッフル戦略を適用する。
• 3つのモデル拡張テクニックを標準的なデータ拡張と組み合わせ、既存のGNNモデルとのプラグアンドプレイ統合を可能にする。
• 非対称アーキテクチャがGNNのスペクトル応答を変化させることで高周波数ノイズを抑制する理論的裏付けを提示する。
• 相互情報量推定（MINE）と下流の精度を指標として用い、ビューの多様性と意味的保存性の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 GCLにおけるビュー符号化器のアーキテクチャの違いが、対照ビューの多様性を向上させ、タスクに不要なノイズを低減できるか？
• RQ2 符号化器アーキテクチャの操作によるモデル拡張が、従来のデータ拡張やパラメータ摂動よりも優れているか？
• RQ3 非対称、ランダム、シャッフルの各モデル拡張テクニックが、GCL全体の性能にどのように寄与しているか？
• RQ4 提案されたモデル拡張パラダイムは、既存のGCLフレームワークと互換性があり、単純なベースモデルに対しても有効か？
• RQ5 アーキテクチャの操作によって、タスク関連の意味的特徴を保持しながら、ビューの乖離を高められるか？

主な発見

• MA-GCLは、6つのノード分類ベンチマークのうち5つで最先端性能を達成し、最良のベースラインよりも相対的に最大2.7%の向上を示した。
• 非対称戦略が最も大きな性能向上貢献を示し、平均で0.86%の精度向上を達成した。続くのはランダム戦略（0.65%）、シャッフル戦略（0.54%）であった。
• 実験により、標準的なデータ拡張のみでは、ビュー間の相互情報量が高く、下流の精度が低くなることが確認され、過度に類似したビューとノイズの多い状態であることが示された。
• パラメータ摂動（PA）は、相互情報量が低く、精度が悪いことから、そのアプローチのリスクが裏付けられた。
• アブレーションスタディにより、3つのモデル拡張テクニックが独立して性能向上をもたらすことが確認され、それぞれがビューの多様性とノイズフィルタリングにおいて補完的な役割を果たしていることが支持された。