[論文レビュー] Towards Robust Graph Contrastive Learning

Nikola Jovanović, Meng Zhao+2 more|arXiv (Cornell University)|Feb 25, 2021

Advanced Graph Neural Networks参考文献 38被引用数 27

ひとこと要約

本論文は、勾配信号に導かれた敵対的エッジの削除と挿入とともに確率的変換を組み合わせることで敵対的ロバスト性を強化する自己教師ありのグラフ対比学習法である GROC を導入する。

ABSTRACT

We study the problem of adversarially robust self-supervised learning on graphs. In the contrastive learning framework, we introduce a new method that increases the adversarial robustness of the learned representations through i) adversarial transformations and ii) transformations that not only remove but also insert edges. We evaluate the learned representations in a preliminary set of experiments, obtaining promising results. We believe this work takes an important step towards incorporating robustness as a viable auxiliary task in graph contrastive learning.

研究の動機と目的

• 自己教師あり表現学習のためのグラフ対比学習において頑健性を補助的な目的として位置づける。
• クリーンデータでの性能を維持しつつ、グラフに対する敵対的撹乱へ頑健性を向上させる完全に自己教師ありのアルゴリズムを開発する。
• 確率的マスキングと勾配情報に基づくエッジ削除／挿入を組み合わせた新規の変換パイプラインを提案し、頑健なビューを作成する。
• 敵対的撹乱の下で標準的なグラフベンチマーク上で手法を評価し、既存の対照法と比較する。

提案手法

• グラフ対比学習に基づく Graph Robust Contrastive Learning (GROC) を提案する。グラフの2つのビューを用いる。
• 勾配信号に導かれた敵対的エッジ編集を行う前に、確率的特徴マスキングという2段階のビュー構築を用いる。
• 2つのビュー間でアンカーノードの埋め込みと他ノードからのネガティブを用いた対照損失を計算する。
• 敵対的ステップでは、勾配影響が最小のエッジを削除し、勾配影響が最大のエッジをキュレーション済み候補集合から挿入する。
• エッジ編集時に局所的な近傍に焦点を当てつつ、ネガティブサンプルを制限するためにノードをランダム化されたバッチで処理する。
• バッチ全体の対照損失を最小化するよう勾配降下法でエンコーダーのパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 対照学習中の敵対的変換は、グラフ撹乱に対するグラフ表現の頑健性を向上させるか？
• RQ2 勾配に導かれたエッジ削除と挿入は、ランダム撹乱と比べて頑健なビュー作成に利点をもたらすか？
• RQ3 標準精度と頑健精度の観点で、標的型グラフ攻撃下の GROC の性能はどうか？
• RQ4 クリーンおよび攻撃条件下で、GROC は既存のグラフ自己教師あり手法（GRACE、GCA）と競合できるか？

主な発見

• GROC は、敵対的変換をグラフ対比学習に組み込む最初のフレームワークとして提案されている。
• 推認的ノード分類データセットでの予備実験は、敵対攻撃下で頑健性の向上を示し、クリーンデータでの性能を維持している。
• GROC は GRACE、GCA、および GRACE の勾配強化バリアントに対して、Nettack形式の撹乱を攻撃モデルとして用いて評価している。
• 実験では標準データセット（Cora、Citeseer、Pubmed、AmazonPhoto、WikiCS）上で 2 層の GCN エンコーダを使用し、線形評価プロトコルを適用している。
• 本手法は、確率的マスキング、勾配ガイド付きのエッジ削除、およびエッジ挿入を組み合わせて、対照学習のための頑健なビューを形成する。