[論文レビュー] Beyond Low-frequency Information in Graph Convolutional Networks

Deyu Bo, Xiao Wang+2 more|arXiv (Cornell University)|Jan 4, 2021

Advanced Graph Neural Networks被引用数 22

ひとこと要約

本稿では、周波数適応グラフ畳み込みネットワーク（FAGCN）を提案する。FAGCNは、自己ゲーティング機構を用いて低周波数、高周波数、および元のノード特徴量を動的に統合する、新しい空間的GNNであり、ノード表現学習を向上させる。FAGCNは、周波数に配慮したメッセージパッシングにより過剰平滑化を軽減し、柔軟性を高めることで、多様な実世界のグラフ、特に非同調的ネットワークにおいて、最先端のモデルを上回る性能を発揮する。

ABSTRACT

Graph neural networks (GNNs) have been proven to be effective in various network-related tasks. Most existing GNNs usually exploit the low-frequency signals of node features, which gives rise to one fundamental question: is the low-frequency information all we need in the real world applications? In this paper, we first present an experimental investigation assessing the roles of low-frequency and high-frequency signals, where the results clearly show that exploring low-frequency signal only is distant from learning an effective node representation in different scenarios. How can we adaptively learn more information beyond low-frequency information in GNNs? A well-informed answer can help GNNs enhance the adaptability. We tackle this challenge and propose a novel Frequency Adaptation Graph Convolutional Networks (FAGCN) with a self-gating mechanism, which can adaptively integrate different signals in the process of message passing. For a deeper understanding, we theoretically analyze the roles of low-frequency signals and high-frequency signals on learning node representations, which further explains why FAGCN can perform well on different types of networks. Extensive experiments on six real-world networks validate that FAGCN not only alleviates the over-smoothing problem, but also has advantages over the state-of-the-arts.

研究の動機と目的

• 従来の低域フィルタリングを超えて、グラフニューラルネットワークにおける低周波数および高周波数信号の役割を調査すること。
• 既存のGNNが単一の低周波数情報に依存するという限界を是正し、非同調的ネットワークにおける性能を向上させること。
• ネットワークの同調性に関する事前知識がなくても、複数の周波数成分を動的に統合できるモデルを設計すること。
• FAGCNの表現力が既存のGNNの一般化として理論的に裏付けられることを示すこと。
• FAGCNの優位性を、非同調的および異種ネットワークを含む多様な実世界のグラフデータセットにおいて検証すること。

提案手法

• FAGCNは、グラフ信号処理を用いて、強化された低域フィルタおよび高域フィルタを定義し、元のノード特徴量を低周波成分と高周波成分に分解する。
• 自己ゲーティング機構により、学習された注意重みに基づいて、メッセージパッシング中に低周波信号、高周波信号、および元の特徴量を動的に組み合わせる。
• モデルは、過剰平滑化を回避するためのノード表現間の距離を調整可能な、既存のGNNの一般化として設計されている。
• 理論的分析により、FAGCNが表現類似度を自由に制御できることを証明し、同調的および非同調的グラフの両方で優れた性能を発揮できることを示している。
• 空間的GNNフレームワークに実装されており、解釈性を保ちつつ柔軟性を向上させている。
• ノード分類のための交差エントロピー損失を用いてエンドツーエンドで学習され、事前の構造的仮定は不要である。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける低周波数および高周波数信号は、効果的なノード表現学習において、それぞれどのような役割を果たすか？
• RQ2 なぜ、低周波数信号に依存する既存のGNNは、非同調的ネットワークで性能を発揮できないのか？
• RQ3 複数の周波数成分を動的に統合できるGNNモデルは、異なるネットワークタイプにわたる一般化性能を向上させることができるか？
• RQ4 FAGCNの自己ゲーティング機構は、固定フィルタリング戦略と比較して、どのようにより優れた表現学習を実現するか？
• RQ5 FAGCNは、深層GNNにおける過剰平滑化問題をどの程度軽減できるか？

主な発見

• ラベルを再定義したChameleonおよびSquirrelデータセット（Cham-3, Squi-3）では、FAGCNがそれぞれ76.1%および66.7%の分類精度を達成し、すべてのベースラインを上回った。
• 元のCham-5およびSqui-5分割では、FAGCNが依然として61.7%および39.7%の精度を達成し、GCN（59.8%および36.9%）およびMLP（46.4%および29.7%）を顕著に上回った。
• 実験の結果、非同調的ネットワークにおいては高周波信号が低周波信号よりも効果的であることが示され、低域フィルタリングが最適であるという仮定に疑問を呈した。
• FAGCNは、メッセージパッシング中に異なる周波数成分の寄与を動的に制御することで、過剰平滑化を軽減した。
• 理論的分析により、FAGCNが大多数の既存GNNを一般化でき、ノード表現の類似度を柔軟に調整できることを確認した。
• FAGCNは、同調的および非同調的グラフを含む6つの実世界ネットワークにおいて一貫した優位性を示した。