[論文レビュー] Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks from the Topological View

Deli Chen, Yankai Lin+4 more|arXiv (Cornell University)|Sep 7, 2019

Advanced Graph Neural Networks参考文献 24被引用数 79

ひとこと要約

本論文は、GNNにおける平滑化と過平滑化を定量化する MAD および MADGap 指標を提案し、トポロジーによって引き起こされる情報対ノイズ比が過平滑化を生むことを示し、これを緩和する MADReg および AdaEdge を提案、複数のデータセットとモデルで検証した。

ABSTRACT

Graph Neural Networks (GNNs) have achieved promising performance on a wide range of graph-based tasks. Despite their success, one severe limitation of GNNs is the over-smoothing issue (indistinguishable representations of nodes in different classes). In this work, we present a systematic and quantitative study on the over-smoothing issue of GNNs. First, we introduce two quantitative metrics, MAD and MADGap, to measure the smoothness and over-smoothness of the graph nodes representations, respectively. Then, we verify that smoothing is the nature of GNNs and the critical factor leading to over-smoothness is the low information-to-noise ratio of the message received by the nodes, which is partially determined by the graph topology. Finally, we propose two methods to alleviate the over-smoothing issue from the topological view: (1) MADReg which adds a MADGap-based regularizer to the training objective;(2) AdaGraph which optimizes the graph topology based on the model predictions. Extensive experiments on 7 widely-used graph datasets with 10 typical GNN models show that the two proposed methods are effective for relieving the over-smoothing issue, thus improving the performance of various GNN models.

研究の動機と目的

• 多様なデータセットとモデルにわたる GNN の平滑化および過平滑化の挙動を定量化する。
• 情報対ノイズ比が過平滑化を引き起こす役割を特定する。
• グラフのトポロジーが情報対ノイズ比とモデル性能に影響を与えることを示す。
• トポロジーに基づく手法を提案し、過平滑化を緩和する効果を検証する。

提案手法

• 最終層の埋め込み間のコサイン距離を用いてノード表現の平滑性を測定する MAD を定義する。
• 遠隔ノードペアと近傍ノードペアの MAD を比較して過平滑性を定量化する MADGap に MAD を拡張する。
• データセットおよびモデル間で MADGap とモデル性能の相関を分析する。
• 学習時に情報量のあるノイズを削減したメッセージを促す MADGap に基づく正則化項である MADReg を提案する。
• 学習中にクラス内接続を優先しクラス間接続を抑えるようにエッジを再配線する適応的トポロジー最適化手法である AdaEdge を提案する。

実験結果

リサーチクエスチョン

• RQ1 GNNs における過平滑化の推進要因は何で、どのように定量化できるか？
• RQ2 グラフのトポロジーは情報対ノイズ比とそれに伴う平滑化にどのように影響するか？
• RQ3 トポロジー対応の介入（MADReg、AdaEdge）は過平滑化を緩和し、さまざまなアーキテクチャで性能を改善できるか？
• RQ4 MAD および MADGap はデータセットや層を跨いでモデル性能とどの程度相関するか？

主な発見

• MAD の値は GNN の深さが増すと低下し、平滑化が GNN に inherent であることを示す。
• MADGap はモデル精度とモデル・データセットを跨いで有意に相関し、過平滑性の指標として妥当であることを検証する。
• より高い情報対ノイズ比は過平滑化の抑制とより良い予測に対応する。
• ラベルに基づくクラス間エッジの削除とクラス内エッジの追加は MADGap を増し、性能を改善する。
• MADReg と AdaEdge は過平滑化を効果的に緩和し、7 データセットおよび 10 の GNN モデルで性能を改善し、特に深層設定で顕著である。
• AdaEdge は過平滑化が深刻なときにはより確実に性能を向上させ、MADReg は平滑化が増すほど改善を支える。