[論文レビュー] Data-centric Graph Learning: A Survey

Yuxin Guo, Deyu Bo+6 more|arXiv (Cornell University)|Oct 8, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本サーベイは、グラフ学習のデータ中心フレームワークを紹介し、学習段階（前処理、訓練、推論）とデータ構造（トポロジー、特徴、ラベル）に基づいて手法を分類する。モデル性能を向上させるためにグラフデータをいつ、どのように修正すべきかをガイドするための新しい分類法を提案する。偏り、ノイズ、異性性（heterophily）といった問題に対し、データ中心の解決策を提示する。

ABSTRACT

The history of artificial intelligence (AI) has witnessed the significant impact of high-quality data on various deep learning models, such as ImageNet for AlexNet and ResNet. Recently, instead of designing more complex neural architectures as model-centric approaches, the attention of AI community has shifted to data-centric ones, which focuses on better processing data to strengthen the ability of neural models. Graph learning, which operates on ubiquitous topological data, also plays an important role in the era of deep learning. In this survey, we comprehensively review graph learning approaches from the data-centric perspective, and aim to answer three crucial questions: (1) when to modify graph data, (2) what part of the graph data needs modification to unlock the potential of various graph models, and (3) how to safeguard graph models from problematic data influence. Accordingly, we propose a novel taxonomy based on the stages in the graph learning pipeline, and highlight the processing methods for different data structures in the graph data, i.e., topology, feature and label. Furthermore, we analyze some potential problems embedded in graph data and discuss how to solve them in a data-centric manner. Finally, we provide some promising future directions for data-centric graph learning.

研究の動機と目的

• グラフ学習におけるデータ中心のアプローチの増大するニーズに対応し、モデルアーキテクチャからデータの質と処理へ焦点を移す。
• グラフ学習パイプライン（前処理、訓練、推論）におけるどの段階でデータの修正が最適なモデル性能をもたらすかを特定する。
• グラフデータのどの構成要素—トポロジー、特徴、またはラベル—を修正することで、グラフニューラルネットワークの潜在的性能を最大限に引き出せるかを特定する。
• ノイズ、偏り、または異性性を持つグラフといった問題的なデータの影響を、データ中心の戦略によって軽減する。
• データとモデルの共同開発のための今後の方向性を提起し、標準化、継続的学習、共同設計に重点を置く。

提案手法

• グラフ学習パイプラインの段階（前処理、訓練、推論）に基づく新しい分類法を提案し、データ修正の意思決定をガイドする。
• データ構造（トポロジー、特徴、ラベル）に基づいてデータ中心の手法を分類し、それぞれに特化した処理戦略を提示する。
• データ品質とモデルのロバスト性を向上させるために、データ拡張、グラフ構造学習、特徴／ラベルの精錬をコア技術として導入する。
• 教師なしおよび自己教師あり手法を活用し、グラフデータにおける選択バイアス、不平等、誤った相関関係を検出し、緩和する。
• モデルの予測結果を活用して、反復的にグラフデータを精錬することで、継続的学習とデータの進化を可能にする。
• GraphStormなどのフレームワークを例に、統合的設計を通じたデータとモデルの共同開発を提案する。

実験結果

リサーチクエスチョン

• RQ1 グラフ学習パイプラインのどの段階（前処理、訓練、推論）でグラフデータを修正すれば、モデル性能を最大限に高められるか？
• RQ2 グラフデータのどの構成要素—トポロジー、特徴、ラベル—が、グラフモデルの表現能力に最も顕著に影響を与えるか？
• RQ3 データ中心の手法は、現実世界のグラフにおけるノイズ、バイアス、異性性に対するグラフモデルの耐性をどのように高められるか？
• RQ4 継続的学習とモデルフィードバックは、時間経過とともにグラフデータをどのように精錬するかに果たす役割は何か？
• RQ5 データ中心のパラダイムにおいて、グラフデータとモデルをどのように共同開発することで、相互最適化を達成できるか？

主な発見

• データ中心のアプローチは、モデルの複雑さではなくデータの質に注目することで、グラフニューラルネットワークの性能を顕著に向上させる。
• 構造学習や拡張を用いたトポロジ−の修正は、特に異性性を持つグラフにおいて、モデルの一般化能力を向上させる。
• 特徴およびラベルの精錬技術は、ノイズやバイアスの影響を軽減し、モデルの公平性とロバスト性を向上させる。
• 教師なしおよび自己教師あり手法は、ノード表現における選択バイアスや誤った相関関係を検出し、緩和できる。
• モデルの予測結果を用いてグラフデータを反復的に精錬する継続的学習フレームワークは、適応的かつ進化を遂げるデータパイプラインを可能にする。
• GraphStormの事例が示すように、データとモデルの共同開発は、より効率的かつ効果的なグラフ学習システムを実現する。