[論文レビュー] Empowering Graph Representation Learning with Test-Time Graph Transformation

Wei Jin, Tong Zhao+4 more|arXiv (Cornell University)|Oct 7, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

本稿では、対照的サロゲート損失を用いたノード特徴量とグラフ構造の共同最適化により、テスト時におけるグラフデータの精錬を通じて、グラフニューラルネットワーク（GNN）の汎化性能と耐性を向上させるデータ中心のフレームワーク、GTransを提案する。GTransは、再訓練を伴わず事前学習済みモデルを維持したまま、分布シフト、異常特徴、敵対的攻撃の3つの困難な状況において、最先端の性能を達成し、ベースライン比最大8.2%の向上を実現する。

ABSTRACT

As powerful tools for representation learning on graphs, graph neural networks (GNNs) have facilitated various applications from drug discovery to recommender systems. Nevertheless, the effectiveness of GNNs is immensely challenged by issues related to data quality, such as distribution shift, abnormal features and adversarial attacks. Recent efforts have been made on tackling these issues from a modeling perspective which requires additional cost of changing model architectures or re-training model parameters. In this work, we provide a data-centric view to tackle these issues and propose a graph transformation framework named GTrans which adapts and refines graph data at test time to achieve better performance. We provide theoretical analysis on the design of the framework and discuss why adapting graph data works better than adapting the model. Extensive experiments have demonstrated the effectiveness of GTrans on three distinct scenarios for eight benchmark datasets where suboptimal data is presented. Remarkably, GTrans performs the best in most cases with improvements up to 2.8%, 8.2% and 3.8% over the best baselines on three experimental settings. Code is released at https://github.com/ChandlerBang/GTrans.

研究の動機と目的

• データ品質が劣悪な状況（分布シフト、異常特徴、敵対的攻撃など）におけるGNNの限界を解消すること。
• 事前学習済みモデルの変更や再訓練を必要とせず、GNNの汎化性能と耐性を向上させる手法を開発すること。
• 大規模モデルではコストが高く、実行不可能なモデル中心のアプローチに対する、データ中心の代替手法を提供すること。
• 推論時に動的にグラフデータを適応させるテスト時グラフ変換フレームワークを設計すること。
• GNNにおけるデータ適応がモデル適応よりも優れている理論的根拠を確立すること。

提案手法

• GTransは、ノード特徴量およびグラフ構造に対する摂動のインジェクションとしてグラフ変換をモデル化し、勾配降下法により最適化する。
• パラメータフリーのサロゲート損失に基づき、特徴量と隣接行列の摂動を同時に最適化することで、対照的学習に基づく損失を最小化する。
• サロゲート損失は、DropEdgeなどのデータオーグメンテーションを用いて、元のグラフとオーグメント化されたビュー間の特徴一貫性を最大化するように設計されている。
• 変換プロセスをガイドするため、勾配相関分析をフレームワークに組み込んでいる。
• 微分可能最適化プロセスを採用しており、事前学習済みGNNを固定したまま、テスト時のグラフをエンドツーエンドで精錬可能である。
• 本手法は柔軟かつ移植可能であり、任意の事前学習済みGNNおよび展開環境と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 テスト時におけるグラフ変換は、分布シフトなどのデータ品質の問題が生じる状況でGNNの性能を向上させ得るか？
• RQ2 モデル適応と比較して、テスト時のデータ適応は耐性および性能においてどのように異なるか？
• RQ3 モデルパラメータにアクセスできない状況で、テスト時グラフ精錬を効果的にガイドするための最適なサロゲート損失関数は何か？
• RQ4 GTransの性能は、摂動予算Bやデータオーグメンテーションの選択にどれほど敏感か？
• RQ5 GTransは、モデル予測を向上させるグラフ変更を特定することで、解釈可能性を提供できるか？

主な発見

• GTransは、分布シフト、異常特徴、敵対的攻撃の各設定において、それぞれベースライン最良性能比で最大2.8%、8.2%、3.8%の性能向上を達成した。
• 提案された対照的サロゲート損失は、再構築損失、エントロピー損失、SLAPS損失を上回り、これらはしばしば性能を低下させるか、劣る性能を示す。
• GTransは敵対的攻撃に対して非常に効果的であり、摂動予算Bを0.5%から30%に増加させると、性能が56.66%から63.47%に向上した。
• 分布シフトおよび異常特徴設定では、Bの変化に対して最小限の感度を示しており、これらの状況では摂動スケールに対して耐性があることが示された。
• 異なるオーグメンテーション（DropEdge、ノードドロップ、部分グラフ抽出）が同等の性能を示し、フレームワークの柔軟性およびオーグメンテーション選択に対する耐性を裏付けた。
• 可視化結果から、GTransが有害なグラフパターンを特定・是正し、モデル予測を向上させる変更を解釈可能に特定していることがわかった。