[論文レビュー] On the Unreasonable Effectiveness of Feature propagation in Learning on Graphs with Missing Node Features

Emanuele Rossi, Henry Kenlay+4 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Graph Neural Networks参考文献 51被引用数 10

ひとこと要約

本論文は、ディリクレエネルギーを最小化する拡散プロセスを用いて、スケーラブルで理論的裏付けのある手法である特徴伝播（FP）を提案する。この手法により、グラフニューラルネットワークにおける欠損ノード特徴の再構成が可能となり、99%の特徴が欠損している状況でも、SOTA性能を維持し、相対的精度低下はわずか4.12%にとどまる。大規模グラフにおいて顕著な性能向上を達成している。

ABSTRACT

While Graph Neural Networks (GNNs) have recently become the de facto standard for modeling relational data, they impose a strong assumption on the availability of the node or edge features of the graph. In many real-world applications, however, features are only partially available; for example, in social networks, age and gender are available only for a small subset of users. We present a general approach for handling missing features in graph machine learning applications that is based on minimization of the Dirichlet energy and leads to a diffusion-type differential equation on the graph. The discretization of this equation produces a simple, fast and scalable algorithm which we call Feature Propagation. We experimentally show that the proposed approach outperforms previous methods on seven common node-classification benchmarks and can withstand surprisingly high rates of missing features: on average we observe only around 4% relative accuracy drop when 99% of the features are missing. Moreover, it takes only 10 seconds to run on a graph with $\sim$2.5M nodes and $\sim$123M edges on a single GPU.

研究の動機と目的

• プライバシー制約やデータ収集の制約により、実世界のグラフ機械学習応用において特徴が不完全になりがちな、ノード特徴の欠損という重要な課題に対処すること。
• 大規模グラフで高い欠損特徴率が発生する状況においても、理論的根拠と実用的スケーラビリティを両立できる手法を開発すること。
• GCNMF や PaGNN といった既存のSOTA手法を、精度・スケーラビリティの面で上回ること、特に極端な欠損特徴率下でも優れた性能を発揮すること。
• 任意の下流GNNモデルと互換性がある汎用的で、即挿し可能な前処理ステップを提供することで、柔軟性と導入の容易性を高めること。

提案手法

• 本手法は、グラフ上のディリクレエネルギーの最小化に由来し、連続時間の拡散方程式として特徴伝播をモデル化する。
• 連続的な拡散方程式は、スパース行列乗算を用いて離散化され、計算の効率性とスケーラビリティが確保される。
• 各イテレーションで、特徴は隣接ノードからの集約により更新され、その後、観測済みの値に再初期化され、観測済み特徴と整合性が保たれる。
• このプロセスは低域フィルタとして機能し、グラフ全体にわたって特徴を平滑化するが、既知の値を境界条件として維持する。
• 本フレームワークは汎用的であり、GCN や GraphSAGE などの任意のGNNモデルと組み合わせて使用可能である。
• アルゴリズムはGPU上で効率的に実装されており、250万ノードのグラフにおいて、特徴再構成ステップが1台のGPUで10秒未満で完了する。

実験結果

リサーチクエスチョン

• RQ1 理論的根拠があり、スケーラブルな手法が、高い性能を維持しながらグラフ内の欠損ノード特徴を再構成できるか？
• RQ2 極めて高い欠損特徴率（例：90% や 99%）下で、特徴再構成手法の性能はどのように低下するか？
• RQ3 大規模グラフにおいて、GCNMF や PaGNN と比較して、特徴伝播が精度・速度・スケーラビリティの面で優れているか？
• RQ4 グラフの同型性（homophily）は、特徴伝播の有効性にどのように影響するか？
• RQ5 本手法は、非均質グラフや特徴依存の拡散メカニズムへ一般化可能か？

主な発見

• 99%の特徴が欠損している状況で、FPは相対的精度低下がわずか4.12%にとどまるが、GCNMFでは平均で58.33%、PaGNNでは21.25%の低下を示した。
• 250万ノード、1億2300万エッジを有するOGBN-Productsデータセットにおいて、FPは1台のGPUで約10.5秒で特徴再構成を完了した。一方、GCNMFとPaGNNはメモリ不足により失敗した。
• FPは、99%の特徴が欠損している状況でも、ラベル伝播法や位置符号化法を常に上回るか、同等の性能を示し、ロバストネスと実用性を裏付けた。
• エンドツーエンドの学習時間において、FPはPaGNN や GCNMF よりも3倍速く、特徴伝播ステップの実行時間は全体のわずか一部にとどまる。
• 低同型性グラフでは性能が著しく低下し、FPはゼロ補完ベースラインと同様の挙動を示すため、非同型的状況では限界があることが示唆された。
• 本手法は、隣接ノードの特徴が類似する同型的グラフで最も効果的であり、特徴をグラフ全体にわたって平滑化する低域フィルタとしての解釈が裏付けられた。