[論文レビュー] Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification

Yunsheng Shi, Zhengjie Huang+4 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Graph Neural Networks参考文献 30被引用数 102

ひとこと要約

UniMPは特徴伝搬とラベル伝搬をGraph Transformerで統合し、マスク付きラベル予測を導入してリークを防ぎ、Open Graph Benchmarkデータセットで半教師付き分類の最先端を達成します。

ABSTRACT

Graph neural network (GNN) and label propagation algorithm (LPA) are both message passing algorithms, which have achieved superior performance in semi-supervised classification. GNN performs feature propagation by a neural network to make predictions, while LPA uses label propagation across graph adjacency matrix to get results. However, there is still no effective way to directly combine these two kinds of algorithms. To address this issue, we propose a novel Unified Message Passaging Model (UniMP) that can incorporate feature and label propagation at both training and inference time. First, UniMP adopts a Graph Transformer network, taking feature embedding and label embedding as input information for propagation. Second, to train the network without overfitting in self-loop input label information, UniMP introduces a masked label prediction strategy, in which some percentage of input label information are masked at random, and then predicted. UniMP conceptually unifies feature propagation and label propagation and is empirically powerful. It obtains new state-of-the-art semi-supervised classification results in Open Graph Benchmark (OGB).

研究の動機と目的

• GNNベースの特徴伝搬とラベル伝搬を1つのフレームワークで結合する動機付け。
• ノード特徴とラベル埋め込みの両方を伝搬のために取り込むGraph TransformerベースのモデルであるUniMPを提案する。
• 学習時のラベルリークを防ぐためのマスク付きラベル予測を導入しつつ、推論時にはラベルを活用する。
• 大規模なOGBNデータセットで最先端の半教師付き分類性能を示す。

提案手法

• 部分的に観測されたラベルをラベル埋め込みを介してノード特徴と同じ埋め込み空間に表現する。
• マルチヘッドGraph Transformerを用いて特徴情報とラベル情報を伝搬・アテンションする。
• 層間の過度な平滑化を緩和するためのゲート付き残差機構を組み込む。
• 特徴伝搬とラベル伝搬を1つの伝搬ルールに統合し、デカップリングされた特徴とラベルのダイナミクスを近似する。
• BERT風マスキングに触発されたマスク付きラベル予測の学習目的を適用してラベルリークを防ぐ。
• ablationスタディを用いてogbn-products、ogbn-proteins、ogbn-arxivで評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴伝搬とラベル伝搬は単一のメッセージパッシングフレームワーク内で効果的に統一できるか？
• RQ2 トレーニング時に入力ラベルをマスクすることで、ラベルを含むGNNの一般化とリーク回避に効果があるか？
• RQ3 大規模で多様なOGBNデータセット全体で、ラベル埋め込みと伝搬が性能にどの程度寄与するか？
• RQ4 データセット全体でラベルのカバレッジと近傍情報がモデル精度に及ぼす影響はどの程度か？

主な発見

• 3つのOGBNデータセット ogbn-products、ogbn-proteins、ogbn-arxivで新しい最先端の結果を達成。
• グラフトランスフォーマーとラベル埋め込みを用いたUniMPは、特徴伝搬のみ、またはLPAのみで正則化する以前の手法を上回る。
• マスク付きラベル予測は自己ループラベルのリークを効果的に防ぎ、信頼性の高い学習を支援する。
• ogbn-productsでは、UniMPは0.8256のテスト精度を達成（ベースラインと比較）。
• ogbn-proteinsでは、UniMPは0.8642のテストROC-AUCを達成（報告された手法中で最高）。
• ogbn-arxivでは、UniMPは0.7311のテスト精度を達成（最先端と競合）。