[論文レビュー] Every Node Counts: Self-Ensembling Graph Convolutional Networks for Semi-Supervised Learning

Yawei Luo, Tao Guan+3 more|arXiv (Cornell University)|Sep 26, 2018

Advanced Graph Neural Networks参考文献 31被引用数 6

ひとこと要約

本論文は、自己アンサンブルGCN（SEGCN）を提案する。これは、グラフ畳み込みネットワーク（GCN）にMean Teacherトレーニングパラダイムを統合することで、ラベルなしノードの相互一貫性を活用し、ノード分類の性能を向上させる、新しい半教師あり学習フレームワークである。SEGCNは、自己アンサンブルと摂動に基づく一貫性トレーニングにより、ラベルありおよび遠く離れたラベルなしノードからの勾配の流れを効果的に可能にすることで、特にラベル率が低い設定下でも、学術論文ネットワーク（Cora、Citeseer、PubMed）で最先端の性能を達成する。

ABSTRACT

Graph convolutional network (GCN) provides a powerful means for graph-based semi-supervised tasks. However, as a localized first-order approximation of spectral graph convolution, the classic GCN can not take full advantage of unlabeled data, especially when the unlabeled node is far from labeled ones. To capitalize on the information from unlabeled nodes to boost the training for GCN, we propose a novel framework named Self-Ensembling GCN (SEGCN), which marries GCN with Mean Teacher - another powerful model in semi-supervised learning. SEGCN contains a student model and a teacher model. As a student, it not only learns to correctly classify the labeled nodes, but also tries to be consistent with the teacher on unlabeled nodes in more challenging situations, such as a high dropout rate and graph collapse. As a teacher, it averages the student model weights and generates more accurate predictions to lead the student. In such a mutual-promoting process, both labeled and unlabeled samples can be fully utilized for backpropagating effective gradients to train GCN. In three article classification tasks, i.e. Citeseer, Cora and Pubmed, we validate that the proposed method matches the state of the arts in the classification accuracy.

研究の動機と目的

• GCNが、ラベル付きノードから遠く離れたラベルなしノードを、受容 field の制限により効果的に活用できないという限界を解消すること。
• ラベルなしノードが相互学習を通じてトレーニングに寄与できるようにすることで、半教師ありノード分類を改善すること。
• 標準的なGCNにおける遠く離れたノードへの勾配伝搬の悪さを、摂動付きの学生モデルと蒸留された教師モデルを用いた自己アンサンブル機構を導入することで是正すること。
• 学生と教師モデル間の相互学習が、特にラベル率が低い設定下で、トレーニングの安定性を高め、分散を低減できることを検証すること。

提案手法

• SEGCNは、学生モデルがデータ摂動（特徴量マスキングと隣接行列マスキング）を受ける一方で、教師モデルが学生の重みのゆっくりな平均化版を使用する学生-教師フレームワークを採用する。
• 学生モデルは二重損失関数で訓練される：ラベル付きノードにおける教師付きクロスエントロピー損失と、ラベルなしノードにおける学生の予測と教師の予測の一致を強制する教師付きでない一貫性損失。
• 摂動は特徴量マスキング（P_f）と隣接行列マスキング（P_A）により適用され、一貫性目的の難易度を高め、一般化性能を向上させる。
• 教師モデルは、学生の重みの指数移動平均（EMA）により更新され、自己トレーニングのための安定的かつ正確な予測を保証する。
• このフレームワークにより、ラベル付きノードおよび遠く離れたラベルなしノードからの勾配の効果的バックプロパゲーションが可能となり、グラフ全体における特徴表現学習が向上する。
• 本手法は、アブレーションスタディを伴い、学術論文ネットワーク（Cora、Citeseer、PubMed）にエンドツーエンドで適用される。

実験結果

リサーチクエスチョン

• RQ1 学生と教師モデル間の相互学習により、Kホップ近傍を超えたラベルなしノードからの情報を活用することで、GCNの性能向上が図れるか？
• RQ2 P_AおよびP_fによる摂動に基づく一貫性トレーニングが、ラベル率が低い環境下でのモデルの一般化性能と耐性に与える影響は何か？
• RQ3 自己アンサンブル機構が、ランダムなデータ分割下での半教師ありノード分類における分散を低減し、安定性を向上させるか？
• RQ4 EMAベースの教師モデルは、標準的なGCNと比較して、予測の一貫性と一般化性能をどの程度向上させるか？
• RQ5 SEGCNは、最小限のラベル付きデータで学術論文ネットワークベンチマークで最先端の性能を達成できるか？

主な発見

• SEGCNは、クラスあたり200件のラベル付きサンプルのみを用いてPubMedで84.7％の精度を達成し、GCN、DCNN、N-GCNなどの先行手法を上回る最先端の性能を示した。
• Coraでは、アブレーションスタディにおいて両方の摂動と自己トレーニングを組み合わせた場合に83.5％の精度を達成し、各コンポonentの相補的効果を示した。
• 特にラベル付きデータが限られる状況下で、ランダムな分割における性能の分散が顕著に低減され、トレーニングの安定性が向上した。
• t-SNE可視化により、SEGCNが特にラベル付きクラスタから遠く離れたノードに対しても、より判別力があり、凝縮された特徴表現を学習していることが確認された。
• アブレーションスタディの結果、特徴量マスキング（P_f）と隣接行列マスキング（P_A）の両方が、ランダムエラー除去よりも精度向上に寄与しており、P_Aの方がより効果的であることが示された。
• 教師モデルを用いた自己トレーニングは、単一モデルでの学習と比較して顕著な性能向上をもたらし、相互学習機構の有効性が裏付けられた。