[論文レビュー] Metropolis-Hastings Data Augmentation for Graph Neural Networks

Hyeonjin Park, Seunghun Lee+6 more|arXiv (Cornell University)|Mar 26, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、メトロポリス・ハスティングス法を用いて明示的な目的分布からグラフのデータ拡張を生成する、新たなフレームワークであるメトロポリス・ハスティングス・データ拡張（MH-Aug）を提案する。この手法により、制御可能で多様なグラフデータ拡張が可能となり、グラフニューラルネットワークにおける一般化性能が向上する。MH-Augは、半教師あり学習において、拡張されたグラフが望ましい分布に従うように保証することで、5つのベンチマークデータセットにおいて最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) often suffer from weak-generalization due to sparsely labeled data despite their promising results on various graph-based tasks. Data augmentation is a prevalent remedy to improve the generalization ability of models in many domains. However, due to the non-Euclidean nature of data space and the dependencies between samples, designing effective augmentation on graphs is challenging. In this paper, we propose a novel framework Metropolis-Hastings Data Augmentation (MH-Aug) that draws augmented graphs from an explicit target distribution for semi-supervised learning. MH-Aug produces a sequence of augmented graphs from the target distribution enables flexible control of the strength and diversity of augmentation. Since the direct sampling from the complex target distribution is challenging, we adopt the Metropolis-Hastings algorithm to obtain the augmented samples. We also propose a simple and effective semi-supervised learning strategy with generated samples from MH-Aug. Our extensive experiments demonstrate that MH-Aug can generate a sequence of samples according to the target distribution to significantly improve the performance of GNNs.

研究の動機と目的

• グラフ構造データにおけるラベルのスパarsityが原因で生じるGNNの一般化性能の低さを是正すること。
• 非ユークリッド構造およびノード間の依存関係のため、効果的でラベルを保持するグラフのデータ拡張を設計することが難しいという課題を克服すること。
• 明確に定義された目的分布を用いて、拡張の強度と多様性を明示的に制御できること。
• 連続的に生成された拡張サンプルを活用する半教師あり学習戦略を構築し、モデル性能を向上させること。

提案手法

• MH-Augは、データ拡張をマークフ・チェーン・モンテカルロ（MCMC）サンプリング問題として定式化し、明示的な目的分布から拡張グラフを抽出する。
• 目的分布を、希望する拡張の強度と多様性を制御するための平均（$\mu_{\mathcal{E}}$）および標準偏差（$\sigma_{\mathcal{E}}$）パラメータで制御されるエッジドロップ確率を用いて定義する。
• 可能な部分グラフの組み合わせの爆発的増加を補正するため、目的分布に正規化項を組み込むことで、期待されるグラフ変化率に対する正確な制御を可能にする。
• MH-Augは、直接的なサンプリングが困難な複雑な目的分布からのサンプリングを可能にするために、メトロポリス・ハスティングスアルゴリズムを用いる。これにより、目的分布に収束する。
• ターゲットノード周辺の構造的変化に基づいて拡張の強度を測定するエゴグラフの視点を導入し、より解釈可能で効果的な摂動を可能にする。
• 未ラベルデータを活用し、同じグラフの複数の拡張ビューを用いて正則化を行うことで、一貫性学習と統合する。

実験結果

リサーチクエスチョン

• RQ1 MCMCベースのサンプリングは、GNN向けに多様でラベルを保持するグラフ拡張を効果的に生成できるか？
• RQ2 提案された目的分布は、拡張の強度と多様性を明示的かつ解釈可能に制御できるか？
• RQ3 MH-Augは、複雑なグラフ構造に対しても実際には望ましい目的分布に収束するか？
• RQ4 MH-Augは一貫性学習と効果的に組み合わせられ、半教師ありGNNの性能を向上させられるか？
• RQ5 多様なグラフデータセットにおいて、一般化性能とロバストネスの観点から、既存のデータ拡張ベースラインと比較してMH-Augは優れているか？

主な発見

• MH-Augは、グリッドグラフにおける実験的サンプリングにより、望ましい目的分布に収束する一連の拡張グラフを効果的に生成した。
• 目的分布に正規化項を含めることで、特に密なグラフにおいて期待されるグラフ変化率に対する正確な制御が達成される。
• MH-Augは、拡張の強度と多様性を柔軟に制御可能である：$\mu_{\mathcal{E}}$を増加させると構造的変化が大きくなり、$\sigma_{\mathcal{E}}$を増加させるとエッジドロップ確率がより一様になる。
• 当該手法は、$\sigma_{\mathcal{E}}$が大きい場合にドロップエッジ（DropEdge）を特別なケースとして含むため、従来の研究と整合性があり、一般性が確認された。
• MH-Augは、ノード分類タスクにおいて5つのベンチマークデータセットで最先端の性能を達成し、強力なベースラインと比較して一貫して顕著な改善を示した。
• アブレーションスタディの結果、正規化が不可欠であることが確認された。正規化がなければ、グラフ変化率の実測平均が目標の$\mu_{\mathcal{E}}$と一致せず、望ましくない分布に収束することが示された。