[論文レビュー] Batch Virtual Adversarial Training for Graph Convolutional Networks

Zhijie Deng, Yinpeng Dong+1 more|arXiv (Cornell University)|Feb 25, 2019

Advanced Graph Neural Networks参考文献 29被引用数 48

ひとこと要約

BVAT（バッチ仮想敵対的訓練）をGCNに導入。サンプルベースのS-BVATと最適化ベースのO-BVATの2つの Variante を提供し、半教師ありノード分類を改善、複数のベンチマークで最先端の結果を達成。

ABSTRACT

We present batch virtual adversarial training (BVAT), a novel regularization method for graph convolutional networks (GCNs). BVAT addresses the shortcoming of GCNs that do not consider the smoothness of the model's output distribution against local perturbations around the input. We propose two algorithms, sample-based BVAT and optimization-based BVAT, which are suitable to promote the smoothness of the model for graph-structured data by either finding virtual adversarial perturbations for a subset of nodes far from each other or generating virtual adversarial perturbations for all nodes with an optimization process. Extensive experiments on three citation network datasets Cora, Citeseer and Pubmed and a knowledge graph dataset Nell validate the effectiveness of the proposed method, which establishes state-of-the-art results in the semi-supervised node classification tasks.

研究の動機と目的

• 局所摂動下でGCNの出力分布の滑らかさが不足している点を動機づけて解決する。
• 摂動を設計する際にグラフの連結性を考慮するBVATのバリエーションを提案する。
• 標準的なグラフベンチマークで一般化性能と最先端の結果を示す。

提案手法

• 仮想敵対的訓練（VAT）をグラフ畳み込みネットワークへ拡張する。
• 局所受容野が重ならないノードのサブセットに局所的な摂動を与えるS-BVATを提案する。
• Adamベースの手順を用いて全ノードの摂動を最適化するO-BVATを提案する。
• LDSベースの正則化を効率的に計算するためにバッチ勾配フレームワークを使用する。
• 半教師あり設定で確信度の高い予測を促すエントロピー項を導入する。
• 摂動生成と訓練目的関数への統合を詳述する2つのアルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 BVATはグラフ構造データにおける局所摂動下でGCN出力分布の滑らかさを改善できるか。
• RQ2 S-BVATとO-BVATは標準的なVATや素のGCNに対して、ベンチマークの半教師ありノード分類タスクで優位性を示すか。
• RQ3 大規模グラフにBVATバリエーションを適用する際の計算コストと精度のトレードオフは何か。

主な発見

方法	Cora	Citeseer	Pubmed	Nell
ManiReg	59.5	60.1	70.7	21.8
SemiEmb	59.0	59.6	71.1	26.7
LP	68.0	45.3	63.0	26.5
DeepWalk	67.2	43.2	65.3	58.1
Planetoid	75.7	64.7	77.2	61.9
Monet	81.7 ± 0.5	–	78.8 ± 0.3	–
GAT	83.0 ± 0.7	72.5 ± 0.7	79.0 ± 0.3	–
GPNN	81.8	69.7	79.3	63.9
GCN (Kipf & Welling, 2017)	81.5	70.3	79.0	66.0
GCN w/ random perturbations	82.3 ± 2.0	71.4 ± 1.9	79.2 ± 0.6	65.9 ± 1.0
GCN w/ VAT	82.8 ± 0.8	73.0 ± 0.7	79.5 ± 0.3	66.0 ± 1.1
GCN w/ S-BVAT	83.4 ± 0.6	73.1 ± 1.3	79.6 ± 0.5	66.0 ± 0.9
GCN w/ O-BVAT	83.6 ± 0.5	74.0 ± 0.6	79.9 ± 0.4	67.1 ± 0.6

• BVAT法はVATよりも局所分布平滑性（LDS）スコアが高く、最悪ケースの方向と整列する摂動がより強いことを示す。
• BVATを用いたGCN（S-BVATおよびO-BVATの双方）は、Cora、Citeseer、Pubmed、Nellの各データセットで素のGCNやランダム摂動を用いたGCNより一貫して上回る。
• O-BVATが最良の性能を達成し、評価データセットで最先端の結果を確立した。
• S-BVATは非重複受容野に焦点を当てることで計算効率と改善のバランスを提供する。
• BVATは標準的なGCN訓練と比較して許容可能な追加計算コストを要する。