[論文レビュー] Make Heterophily Graphs Better Fit GNN: A Graph Rewiring Approach

Wendong Bi, Lun Du+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、近隣ノードのラベルおよび特徴分布の類似性に基づいて、同型性の高いエッジの追加と異型性の高いエッジの削除を戦略的に行うことで、異型性グラフにおけるGNNの性能を向上させる、Deep Heterophily Graph Rewiring (DHGR) という新しいグラフリワアリング手法を提案する。DHGRはプラグイン型の事前処理モジュールとして機能し、アーキテクチャの変更なしに11の公開データセットにおいてGNNの性能を顕著に向上させる。

ABSTRACT

Graph Neural Networks (GNNs) are popular machine learning methods for modeling graph data. A lot of GNNs perform well on homophily graphs while having unsatisfactory performance on heterophily graphs. Recently, some researchers turn their attention to designing GNNs for heterophily graphs by adjusting the message passing mechanism or enlarging the receptive field of the message passing. Different from existing works that mitigate the issues of heterophily from model design perspective, we propose to study heterophily graphs from an orthogonal perspective by rewiring the graph structure to reduce heterophily and making the traditional GNNs perform better. Through comprehensive empirical studies and analysis, we verify the potential of the rewiring methods. To fully exploit its potential, we propose a method named Deep Heterophily Graph Rewiring (DHGR) to rewire graphs by adding homophilic edges and pruning heterophilic edges. The detailed way of rewiring is determined by comparing the similarity of label/feature-distribution of node neighbors. Besides, we design a scalable implementation for DHGR to guarantee high efficiency. DHRG can be easily used as a plug-in module, i.e., a graph pre-processing step, for any GNNs, including both GNN for homophily and heterophily, to boost their performance on the node classification task. To the best of our knowledge, it is the first work studying graph rewiring for heterophily graphs. Extensive experiments on 11 public graph datasets demonstrate the superiority of our proposed methods.

研究の動機と目的

• 従来のGNNが異型性グラフにおいて性能を発揮できない問題に対処すること。ここで、接続されたノードはしばしば異なるクラスに属する。
• GNNアーキテクチャの変更とは別個の手法として、異型性に対するグラフリワアリングを、直交的解決策として探求すること。
• 過学習を避ける一方で、同型性を向上させるために、スケーラブルで学習可能なグラフリワアリング手法を設計すること。
• 既存のGNNが事前処理を通じて、異型性グラフおよび同型性グラフの両方でより良い性能を発揮できるようにすること。
• リワアリングが異型性を低減し、ノード分類精度を向上させる有効性を検証すること。

提案手法

• DHGRは、近隣ノードのラベル分布が類似するノード間でエッジを追加し、異なるラベル分布を持つノード間のエッジを削除することで、入力グラフを再構築する。
• エッジの変更は、近隣ノード間のラベルおよび特徴分布の類似性を比較することでガイドされる。
• 微分可能でスケーラブルな最適化戦略により、大規模グラフにおいて線形計算量の複雑性が保証される。
• この手法は、任意のGNNモデルにおけるメッセージパッシングとグラフ構造を分離するプラグイン型の事前処理ステップとして動作する。
• 訓練データ内のノードに焦点を当てることで、過学習を回避すると同時に、構造的整合性を維持する。
• エンド・ツー・エンドでGNNと統合して訓練可能な、二段階最適化フレームワークがリワアリングモジュールに用いられる。

実験結果

リサーチクエスチョン

• RQ1 構造的リワアリングによるグラフの異型性低減が、ノード分類タスクにおけるGNN性能の向上に寄与するか？
• RQ2 リワアリングによる同型性レベルの向上が、異型性グラフにおける標準GNNの性能に与える影響は何か？
• RQ3 大規模な異型性グラフに対して、効果的かつスケーラブルな学習可能なグラフリワアリング手法を設計できるか？
• RQ4 DHGRは、同型性向けや異型性向けに設計されたさまざまなGNNアーキテクチャに一般化可能か？
• RQ5 近隣分布の類似度が、最適なエッジリワアリング意思決定に与える影響は何か？

主な発見

• DHGRは11の公開異型性グラフデータセットにおいて、GNNの性能を顕著に向上させ、複数のGNNアーキテクチャで一貫した向上を達成した。
• いくつかのベンチマークデータセットにおいて、同型性最適化GNNおよび異型性最適化GNNを上回る最先端の性能を達成した。
• リワアリングによる同型性レベルの向上が、より高いノード分類精度をもたらすことが確認され、核心仮説が裏付けられた。
• アブレーションスタディの結果、エッジの追加と削除の両方が性能向上に寄与しており、特にラベル分布の類似度が重要な要因であることが示された。
• DHGRのスケーラブルな実装は、線形時間計算量を維持しており、大規模グラフへの効率的な適用を可能にした。
• DHGRは同型性グラフに対しても良好に一般化され、性能の低下を伴わず、競争力のある性能を達成した。