[論文レビュー] NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs

Yijun Tian, Chuxu Zhang+3 more|arXiv (Cornell University)|Aug 22, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

NOSMOG は、ノードの位置特徴、GNN からの表現類似度 distillation、および adversarial 特徴拡張を統合することで、ノイズに強い構造に注意を向ける MLP フレームワークを提案する。7つのデータセットで最先端の性能を達成し、GNN より平均で 2.05% 高く、GNN より 833× 速い推論を実現する。

ABSTRACT

While Graph Neural Networks (GNNs) have demonstrated their efficacy in dealing with non-Euclidean structural data, they are difficult to be deployed in real applications due to the scalability constraint imposed by multi-hop data dependency. Existing methods attempt to address this scalability issue by training multi-layer perceptrons (MLPs) exclusively on node content features using labels derived from trained GNNs. Even though the performance of MLPs can be significantly improved, two issues prevent MLPs from outperforming GNNs and being used in practice: the ignorance of graph structural information and the sensitivity to node feature noises. In this paper, we propose to learn NOise-robust Structure-aware MLPs On Graphs (NOSMOG) to overcome the challenges. Specifically, we first complement node content with position features to help MLPs capture graph structural information. We then design a novel representational similarity distillation strategy to inject structural node similarities into MLPs. Finally, we introduce the adversarial feature augmentation to ensure stable learning against feature noises and further improve performance. Extensive experiments demonstrate that NOSMOG outperforms GNNs and the state-of-the-art method in both transductive and inductive settings across seven datasets, while maintaining a competitive inference efficiency. Codes are available at https://github.com/meettyj/NOSMOG.

研究の動機と目的

• 既存の GNN-MLP distillation フレームワークがグラフ構造情報を無視しており、ノード特徴のノイズに敏感であるという限界を是正すること。
• ノードのコンテンツと構造的ポジション情報を両方捉えることで一般化性能を向上させる MLP ベースのモデルを開発すること。
• 入力ノイズに対して耐性を高めつつ、高い推論効率を維持すること。
• 誘導的学習と推論的学習の両設定で、GNN や最先端の MLP ベース手法を上回ること。

提案手法

• ノードの構造的特徴を符号化するために、ノードのコンテンツ特徴とノードの位置特徴（例：ラプラシアン固有ベクトルやランダムウォークから得られるもの）を MLP の入力に統合する。
• GNN の隠れ層表現を通じてノードの類似度パターンを MLP に転移する、表現類似度 distillation 策略を提案する。
• 真のラベルの監視と類似度 distillation を組み合わせた多目的損失関数を設計し、MLP の予測を GNN の出力と構造的類似度に一致させる。
• 訓練中に adversarial 特徴拡張を適用することで、入力ノイズに対する耐性を高め、一般化性能を向上させる。
• 2段階の訓練プロセスを採用：まず GNN を事前学習してソフトラベルとノード類似度を生成し、その後、distillation と adversarial 拡張を用いて MLP をファインチューニングする。
• モデルの予測がグラフトポロジーとどの程度整合しているかを評価する一貫性指標（カット値）を用い、構造的注意の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 GNN からの知識 distillation を通じて学習された MLP が、構造に注意を向けさせ、ノイズに強いようにすれば、推論が速いにもかかわらず GNN と同等の性能を達成できるか？
• RQ2 ノードコンテンツ特徴のみを用いる MLP に、効果的にグラフ構造情報を統合する方法は何か？
• RQ3 ノードの位置特徴を組み込むことで、MLP がグラフのトポロジー的パターンを捉える能力が向上するか？
• RQ4 GNN からの表現類似度 distillation は、出力ログイットを単に模倣する以上の一般化性能向上に寄与するか？
• RQ5 adversarial 特徴拡張は、グラフベースの MLP におけるノード特徴ノイズに対する耐性をどのように向上させるか？

主な発見

• NOSMOG は、7つのデータセットで誘導的および推論的学習の両設定において、GNN より平均で 2.05% 高い性能を達成する。
• NOSMOG は、最先端手法 GLNN より平均で 6.63% 高く、優れた性能と耐性を示す。
• NOSMOG は平均でカット値 0.9348 を達成し、GNN（0.9276）、MLP（0.7572）、GLNN（0.8725）を大きく上回り、グラフトポロジーとの整合性が強いことを示す。
• NOSMOG は、同じ層数の GNN と比較して 833× 速い推論を実現しながらも、競争力のある効率性を維持する。
• アブレーションスタディにより、位置特徴、類似度 distillation、adversarial 拡張の3つの要素が性能向上に不可欠であることが確認された。
• 耐性分析の結果、NOSMOG はノイズのある特徴入力に対しても高い性能を維持しており、adversarial 学習によるノイズ耐性が裏付けられた。