[論文レビュー] Out-Of-Distribution Generalization on Graphs: A Survey

Haoyang Li, Xin Wang+2 more|arXiv (Cornell University)|Feb 16, 2022

Advanced Graph Neural Networks被引用数 26

ひとこと要約

本調査はGraph OOD汎化を形式化し、既存手法をデータ・モデル・学習戦略の3つの分岐に分類し、理論とデータセットを検討し、将来の展望について論じる。

ABSTRACT

Graph machine learning has been extensively studied in both academia and industry. Although booming with a vast number of emerging methods and techniques, most of the literature is built on the in-distribution hypothesis, i.e., testing and training graph data are identically distributed. However, this in-distribution hypothesis can hardly be satisfied in many real-world graph scenarios where the model performance substantially degrades when there exist distribution shifts between testing and training graph data. To solve this critical problem, out-of-distribution (OOD) generalization on graphs, which goes beyond the in-distribution hypothesis, has made great progress and attracted ever-increasing attention from the research community. In this paper, we comprehensively survey OOD generalization on graphs and present a detailed review of recent advances in this area. First, we provide a formal problem definition of OOD generalization on graphs. Second, we categorize existing methods into three classes from conceptually different perspectives, i.e., data, model, and learning strategy, based on their positions in the graph machine learning pipeline, followed by detailed discussions for each category. We also review the theories related to OOD generalization on graphs and introduce the commonly used graph datasets for thorough evaluations. Finally, we share our insights on future research directions. This paper is the first systematic and comprehensive review of OOD generalization on graphs, to the best of our knowledge.

研究の動機と目的

• Graph OOD汎化問題とその動機を形式化する。
• 既存のGraph OOD手法をデータ・モデル・学習戦略のクラスに分類する。
• Graph OOD汎化に関連する理論的基盤を検討する。
• Graph OODで一般的に用いられるデータセットと評価手法を要約する。
• Graph OOD汎化の将来研究への洞察と方向性を提供する。

提案手法

• Graph OOD汎化を定義し、グラフにおける分布シフトの課題を明らかにする。
• グラフMLパイプラインに沿った3分岐の分類法（Data・Model・Learning Strategy）を提案する。
• OOD汎化を改善するためのデータ拡張戦略（構造的、特徴ベース、混合型）を詳述する。
• 分離・因果性ベースのグラフモデルを含むモデルベースのアプローチを説明する。
• グラフ不変性学習、グラフ敵対的訓練、グラフ自己教師あり学習などの学習戦略手法を概説する。

実験結果

リサーチクエスチョン

• RQ1 グラフ OOD汎化の形式的な問題とは何か、そしてそれがインディストリビューション内汎化とどう異なるのか？
• RQ2 グラフ OOD汎化手法はどのように分類でき、各カテゴリにはどんな代表的手法があるのか？
• RQ3 グラフ OOD汎化の基礎となる理論は何か、評価するためのデータセットは何があるのか？
• RQ4 グラフ OOD汎化の主要な課題と今後の方向性は何か？
• RQ5 トポロジー水準と特徴水準の分布シフトに対処する上で、データ・モデル・学習戦略のアプローチはどのように比較されるか？

主な発見

• Graph OOD汎化の形式的な問題定義が提供され、トレーニング分布とテスト分布のシフトを強調している。
• データ（拡張）、モデル（分離と因果性）、学習戦略（不変学習、敵対的訓練、自己教師あり学習）の3カテゴリ分類が提案されている。
• 構造的、特徴ベース、混合型のグラフ拡張手法を、代表的な方法とOOD汎化向上の狙いとともに概説する。
• 分離ベースおよび因果性ベースのグラフモデルが、分布シフト下で堅牢な表現を得る核心的なモデル手法として特定される。
• 本調査はGraph OOD汎化を評価するために用いられる理論とデータセットを要約し、今後の研究の方向性を示唆する。