[論文レビュー] DropMessage: Unifying Random Dropping for Graph Neural Networks

Taoran Fang, Zhiqing Xiao+4 more|arXiv (Cornell University)|Apr 21, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、グラフニューラルネットワーク（GNNs）における伝達メッセージに直接作用する新しいランダムドロップ手法であるDropMessageを提案する。この手法は、既存の方法を統一的なフレームワークに統合する。サンプル分散の低減と情報多様性の維持により、DropMessageは学習の安定性を向上させ、多様なデータセットおよびモデルにおいて、過学習、過平滑化、ノイズ環境下でも顕著な精度向上と一般化性能の向上を達成し、最先端の性能を実現する。

ABSTRACT

Graph Neural Networks (GNNs) are powerful tools for graph representation learning. Despite their rapid development, GNNs also face some challenges, such as over-fitting, over-smoothing, and non-robustness. Previous works indicate that these problems can be alleviated by random dropping methods, which integrate augmented data into models by randomly masking parts of the input. However, some open problems of random dropping on GNNs remain to be solved. First, it is challenging to find a universal method that are suitable for all cases considering the divergence of different datasets and models. Second, augmented data introduced to GNNs causes the incomplete coverage of parameters and unstable training process. Third, there is no theoretical analysis on the effectiveness of random dropping methods on GNNs. In this paper, we propose a novel random dropping method called DropMessage, which performs dropping operations directly on the propagated messages during the message-passing process. More importantly, we find that DropMessage provides a unified framework for most existing random dropping methods, based on which we give theoretical analysis of their effectiveness. Furthermore, we elaborate the superiority of DropMessage: it stabilizes the training process by reducing sample variance; it keeps information diversity from the perspective of information theory, enabling it become a theoretical upper bound of other methods. To evaluate our proposed method, we conduct experiments that aims for multiple tasks on five public datasets and two industrial datasets with various backbone models. The experimental results show that DropMessage has the advantages of both effectiveness and generalization, and can significantly alleviate the problems mentioned above.

研究の動機と目的

• グラフ表現学習における一般的な課題である過学習、過平滑化、耐障害性の欠如を解消すること。
• 従来、特徴量や隣接行列に適用されていたランダムドロップ手法を、メッセージ空間における操作に基づく一貫したフレームワークに統合すること。
• ランダムドロップがGNNで有効である理由を、損失関数における正則化と関連付ける理論的裏付けを提供すること。
• サンプル分散の低減とメッセージ内の情報多様性の維持により、学習の安定性とモデルの一般化性能を向上させること。
• GCN、GAT、APPNPをバックボーンモデルとして用い、公開および産業界のデータセットを対象に、多様なGNNアーキテクチャと実世界の応用において、DropMessageの優位性を実証すること。

提案手法

• DropMessageは、メッセージ伝達フェーズ中にメッセージ行列に対して直接ランダムドロップを実行し、同じソースノードが異なる隣接ノードに対して異なるメッセージを送信可能にする。
• 本手法は、既存のアプローチをその統一フレームワーク下での特殊ケースとしてモデル化することで、一般化を実現する。ここで、メッセージマスクは特定のルールに従う。
• 理論的分析により、メッセージ空間におけるドロップが暗黙の正則化を導入し、モデルの耐障害性と一般化性能を向上させることを示した。
• DropMessageは、入力と出力メッセージ間の期待相互情報量が高く保たれることで、情報多様性を維持する。これは、他の手法の理論的上限として機能する。
• ノード単位のドロップレートと平均ベースのドロップレートの両方をサポートしており、後者は期待値における情報多様性の維持に寄与する。
• 実験は、GCN、GAT、APPNPをバックボーンモデルとして用い、5つの公開データセットと2つの産業界データセットを対象に、ノード分類、リンク予測、耐障害性タスクの評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 特徴量や隣接行列ではなく、メッセージ行列に作用させることで、GNNにおける既存のランダムドロップ手法を統一的なフレームワークに統合できるか？
• RQ2 メッセージ空間におけるランダムドロップは、特にサンプル分散の観点から、GNN学習の安定性と収束性にどのように影響を与えるか？
• RQ3 GNNにおけるランダムドロップと損失関数における正則化の理論的関係は何か？
• RQ4 他のランダムドロップ手法と比較して、DropMessageは情報多様性をどの程度維持しているか？また、その影響はモデル性能にどのように現れるか？
• RQ5 多様なデータセットおよびアーキテクチャにおいて、DropMessageは過学習、過平滑化、および敵対的ノイズの緩和において、既存手法を上回る性能を示すか？

主な発見

• 入力摂動が30％の条件下で、ランダムドロップを適用しないモデルと比較して、DropMessageは耐障害性で平均37％の向上を達成した。
• Coraデータセットにおいて、深さが3以上のモデルでは、MADGapが3.3％向上し、テスト精度が平均4.9％向上した。これは、過平滑化の緩和において他の手法を上回った。
• 学習損失のサンプル分散が最小であるため、DropMessageは他のランダムドロップ技術と比較して、収束が速く、学習がより安定した。
• 情報多様性分析において、ノード単位のドロップ設定（理論的上限に設定されたドロップレート）は、全バックボーンモデルで平均設定を0.8–1.5％上回り、多様性の維持の重要性を裏付けた。
• DropMessageは、複数のGNNアーキテクチャおよびデータセットにわたって一般化可能であり、公開ベンチマークおよび2つの産業界データセットで一貫した性能向上を示した。
• 理論的分析により、メッセージ空間におけるドロップが正則化を導入することが確認され、モデルの耐障害性および一般化性能の向上を説明する根拠が得られた。