[論文レビュー] Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-smoothing

Yunchong Song, Chenghu Zhou+2 more|arXiv (Cornell University)|Feb 3, 2023

Advanced Graph Neural Networks被引用数 18

ひとこと要約

Ordered GNNはrooted-treeの近傍階層をノード埋め込みと整合させる順序付けられたゲーティング機構を導入し、順序付きメッセージ伝搬を可能にして heterophily と over-smoothing を緩和し、多様なデータセットで state-of-the-art の成果を達成します。

ABSTRACT

Most graph neural networks follow the message passing mechanism. However, it faces the over-smoothing problem when multiple times of message passing is applied to a graph, causing indistinguishable node representations and prevents the model to effectively learn dependencies between farther-away nodes. On the other hand, features of neighboring nodes with different labels are likely to be falsely mixed, resulting in the heterophily problem. In this work, we propose to order the messages passing into the node representation, with specific blocks of neurons targeted for message passing within specific hops. This is achieved by aligning the hierarchy of the rooted-tree of a central node with the ordered neurons in its node representation. Experimental results on an extensive set of datasets show that our model can simultaneously achieve the state-of-the-art in both homophily and heterophily settings, without any targeted design. Moreover, its performance maintains pretty well while the model becomes really deep, effectively preventing the over-smoothing problem. Finally, visualizing the gating vectors shows that our model learns to behave differently between homophily and heterophily settings, providing an explainable graph neural model.

研究の動機と目的

• Graph Neural Networksにおけるheterophilyとover-smoothingという二重の課題を動機づけ、対処する。
• 過度な特徴量混合を招かずに多跳情報をエンコードするorderedなメッセージ伝搬方式を提案する。
• 異なる跳の情報をゲーティングされたブロックとして割り当てるゲーティング機構を導入する。
• ホモフィリとヘテロフィリのデータセット全体で最先端の性能を示し、深いアーキテクチャへのスケーラビリティを示す。

提案手法

• 近傍情報をmean poolingを用いたaggregateステージで表現する。
• embeddingを跳に対応するordered blocksに分割することにより、rooted-tree階層とノード埋め込みを整列させる。
• 分割点P_v^(k)を differentiableなgatingベクトルg_v^(k)で予測し、情報フローを制御する。
• 層間でsplit pointsの単調性を保つために differentiable OR（SOFTOR）を使用する。
• ゲート付きブロックごとにegoとaggregated contextを選択的に使用するordered combineルールでノード埋め込みを更新する。
• パフォーマンスを損なうことなくゲーティングパラメータを削減するチャンク化の工夫を適用する。

実験結果

リサーチクエスチョン

• RQ1 Hop-distanceによってメッセージ伝搬を順序付けることは、neighbor-type設計を明示的に行わなくてもheterophilyに対する頑健性を向上させるか？
• RQ2 rooted-tree階層をordered neuron blocksと揃えることは深層GNNにおける過度な平滑化を緩和するのに役立つか？
• RQ3 提案されたゲーティングとsoft-OR機構は、ホモフィリvsヘテロフィリといった多様なグラフ領域で説明可能で適応可能か？

主な発見

• このモデルは、heterophilyデザインを明示的に狙わなくてもホモフィリとヘテロフィリのデータセットの両方でstate-of-the-artの結果を達成する。
• Ordered gatingは同一跳内の特徴量混合を防ぎ、異なる順序の情報をモデル化できる。
• ゲーティングの可視化は、ホモフィリとヘテロフィリの設定で異なる挙動を示し、説明可能性を提供する。
• 深さが増しても効果を維持し、過度な平滑化の緩和を示唆する。
• 大規模データセットへのスケーリングは、大規模グラフでも強力なベースラインに対して競争力のある性能を示す。