[論文レビュー] Structural Re-weighting Improves Graph Domain Adaptation

Shikun Liu, Tianchun Li+5 more|arXiv (Cornell University)|Jun 5, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、ターゲットドメインの疑似ラベルに基づいてソースグラフエッジを再重み付けすることで、分布シフト下でのノード分類を向上させる、構造的再重み付け（StruRW）という新しいグラフドメイン適応手法を提案する。条件付き構造シフト（ドメイン間でグラフトポロジが変化する現象）を緩和するため、動的に近傍アグリゲーションを調整することで、特に大きな構造的シフト下でも顕著な性能向上を達成し、合成データ、ベンチマーク、ハイエナジー物理学（HEP）データセットにおいて最先端のベースラインを上回る性能を示す。

ABSTRACT

In many real-world applications, graph-structured data used for training and testing have differences in distribution, such as in high energy physics (HEP) where simulation data used for training may not match real experiments. Graph domain adaptation (GDA) is a method used to address these differences. However, current GDA primarily works by aligning the distributions of node representations output by a single graph neural network encoder shared across the training and testing domains, which may often yield sub-optimal solutions. This work examines different impacts of distribution shifts caused by either graph structure or node attributes and identifies a new type of shift, named conditional structure shift (CSS), which current GDA approaches are provably sub-optimal to deal with. A novel approach, called structural reweighting (StruRW), is proposed to address this issue and is tested on synthetic graphs, four benchmark datasets, and a new application in HEP. StruRW has shown significant performance improvement over the baselines in the settings with large graph structure shifts, and reasonable performance improvement when node attribute shift dominates.

研究の動機と目的

• 実世界の応用（例：シミュレーションと実データの差異が大きいハイエナジー物理学分野）において、グラフ構造データの分布シフトに起因する課題に対処すること。
• 現在のグラフドメイン適応（GDA）手法が効果的に処理できない、新たなタイプの分布シフト「条件付き構造シフト（CSS）」を特定し、形式化すること。
• ターゲットドメインの近傍統計に基づいて、メッセージパッシングを適応的に再重み付けすることで、CSSを低減する手法を開発すること。
• 合成グラフ、標準ベンチマーク、実世界のHEP応用を含む多様な設定において、構造的再重み付けの有効性を実証すること。

提案手法

• StruRWは、ターゲットグラフにおける疑似ラベル付きノードを用いて、ノードクラス間のエッジ確率を推定し、近傍構造を推定する。
• これらのクラスベースのエッジ確率を用いて、ソースグラフ内のメッセージパッシングプロセスを再重み付けし、近隣ノードがノード表現に与える寄与度を調整する。
• 再重み付けはGNN学習中に適用され、ソースドメインのメッセージパッシングをターゲットドメインのトポロジに合わせて調整することで、条件付き構造シフトを低減する。
• 本手法は標準GNNと統合可能であり、ERMやドメイン adversarial 学習などのさまざまな学習目的と組み合わせられる。
• ハイパーパrameterには、再重み付けを開始するエポック、重み計算の時間ウィンドウ、再重み付けされたメッセージの影響を制御するスケーリング係数λが含まれる。
• 本手法はマルチグラフ設定にも対応可能であるが、そのような設定では平均的過重計算による性能制限が生じる可能性がある。

Figure 1: Examples of pileup events in two different PU levels: PU30 (Left) and PU10 (Right). Charged particles can be labeled as LC or OC, as highlighted by red or blue dots, while the labels of neutral particles are often unknown. Graph methods are often used here (Bertolini et al., 2014 ; Li et a

実験結果

リサーチクエスチョン

• RQ1 構造的シフトと属性シフトの異なるタイプの分布シフトが、グラフドメイン適応性能に与える影響は何か？
• RQ2 最後層の表現アライメントを共有する1つのGNNエンコーダーで十分に分布シフトを処理できるか？
• RQ3 近傍パターンがドメイン間で変化する条件付き構造シフト（CSS）が、GNNの一般化性能に与える影響は何か？
• RQ4 ターゲットドメインの疑似ラベルに基づいてソースグラフエッジを再重み付けすることで、CSSを効果的に低減でき、ドメイン適応が向上するか？
• RQ5 特にハイエナジー物理学のような実世界応用において、StruRWはさまざまな構造的シフトの度合いに対してどのように性能を示すか？

主な発見

• StruRWは、特に条件付き構造シフト（CSS）スコアが高いデータセットにおいて、最先端のベースラインを顕著に上回る性能向上を達成する。
• ACM→DBLPおよびDBLP→ACMのデータセットでは、StruRW-ERMとStruRW-Mixが一貫した改善を示すが、StruRW-Advは大きなシフト下ではより効果的だが、安定性に欠ける。
• HEP応用においては、高PUレベルから低PUレベルへの適応ではStruRWベースのモデルがERMおよびDANNベースラインを上回るが、逆方向への適応ではわずかな向上にとどまる。
• CoraやArxivのようにCSS値が高いデータセットでは、より顕著な向上が見られ、CSSと性能向上の関連性を裏付ける。
• ハイパーパrameter分析から、元のCSSが大きい場合にはλを増加させることで性能向上が得られ、シフトの深刻さに応じて再重み付けをスケーリングする設計選択が妥当であることを示す。
• HEPタスクの二値分類性とマルチグラフ学習の複雑さにもかかわらず、StruRWは測定可能な向上を示し、特定の現実世界の制約に対しても頑健であることが示唆される。

Figure 2: This diagram demonstrates the model pipeline by combining the StruRW module, GNN encoder, then the generalized loss calculation block that supports StruRW-Adv, StruRW-Mix, and StruRW-ERM. The pseudo codes are presented in Algorithm 1 .