[論文レビュー] Self-supervised Graph Representation Learning via Bootstrapping

Feihu Che, Guohua Yang+4 more|arXiv (Cornell University)|Nov 10, 2020

Advanced Graph Neural Networks参考文献 38被引用数 5

ひとこと要約

本稿では、同じグラフの2つのビューに対してノード特徴のドロップアウトやグラフ拡散といったデータ拡張を適用し、オンラインネットワークがターゲットネットワークの出力を予測するように学習することで、負例を必要とせずに自己教師ありグラフ表現学習を実現する、Deep Graph Bootstrapping (DGB) を提案する。ターゲットネットワークはオンラインネットワークのパラメータをゆっくりと移動平均で更新するため、安定性が保たれ、相互学習が可能になる。この手法により、ラベルなしまたは負例なしのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Graph neural networks~(GNNs) apply deep learning techniques to graph-structured data and have achieved promising performance in graph representation learning. However, existing GNNs rely heavily on enough labels or well-designed negative samples. To address these issues, we propose a new self-supervised graph representation method: deep graph bootstrapping~(DGB). DGB consists of two neural networks: online and target networks, and the input of them are different augmented views of the initial graph. The online network is trained to predict the target network while the target network is updated with a slow-moving average of the online network, which means the online and target networks can learn from each other. As a result, the proposed DGB can learn graph representation without negative examples in an unsupervised manner. In addition, we summarize three kinds of augmentation methods for graph-structured data and apply them to the DGB. Experiments on the benchmark datasets show the DGB performs better than the current state-of-the-art methods and how the augmentation methods affect the performances.

研究の動機と目的

• 既存のグラフニューラルネットワークがラベルデータや手作業で作成された負例に強く依存するという限界を解消すること。
• 視覚分野で成功したブートストラップ機構（BYOL）をグラフ構造データへと拡張し、自己教師あり表現学習を実現すること。
• グラフ構造データにおける有効なデータ拡張戦略を体系的に評価・分類すること。
• DGBが負例や教師信号を一切必要としないにもかかわらず、ベンチマークグラフデータセットで優れた性能を発揮することを示すこと。

提案手法

• DGBは、同じグラフの異なる拡張ビューを処理するオンラインネットワークとターゲットネットワークの2つのニューラルネットワークを採用する。
• オンラインネットワークは、対照的損失の目的関数を用いてターゲットネットワークの出力を予測するように学習される。
• ターゲットネットワークはオンラインネットワークのパラメータをゆっくりと移動平均で更新することで、安定性を確保し、相互学習を可能にする。
• ノードレベル（ノード特徴のドロップアウト、ノードドロップアウト）、隣接行列レベル（PPR、ヒートカーネル）、およびハイブリッドな組み合わせの3種類のデータ拡張が体系的に検討されている。
• 対照的損失を計算する前に、表現を投影するためのマルチレイヤーパーセプトロン（MLP）プロジェクションヘッドが使用されている。
• 学習プロセスは、勾配降下法でオンラインネットワークを更新し、ゆっくりとターゲットネットワークを更新するのを交互に繰り返すことで、視覚分野のBYOLフレームワークを模倣する。

実験結果

リサーチクエスチョン

• RQ1 視覚分野の自己教師あり学習で成功したブートストラップ機構を、グラフ構造データへと効果的に適応できるか？
• RQ2 異なるグラフデータ拡張戦略が、自己教師ありグラフ表現学習の性能にどのように影響を与えるか？
• RQ3 負例の必要性を排除することで、グラフ表現学習のロバスト性と性能が向上するか？
• RQ4 DGBフレームワークにおいて、ノードレベルの拡張と隣接行列レベルの拡張の相対的な寄与度はどの程度か？
• RQ5 ターゲットネットワークにおけるゆっくりとした移動平均更新戦略が、モデルの安定性と性能に与える影響は何か？

主な発見

• Cora、Citeseer、PubMedの各データセットで、DGBは最先端の性能を達成し、Coraでは83.4%の正確度を記録し、既存の教師ありおよび自己教師あり手法を上回った。
• ノード特徴のドロップアウト（NFD）と隣接行列の拡張（例：PPRや拡散）の組み合わせが最も高い性能を発揮し、個別の拡張戦略よりも優れていた。
• ノードレベルの拡張（特にNFD）が隣接行列レベルの拡張よりも顕著に寄与しており、訓練エポック間での確率的変動が大きいためと推測される。
• アブレーションスタディの結果、プロジェクションヘッドを削除するとCoraでの性能が83.4%から76.7%に低下し、表現学習におけるその重要性が示された。
• ターゲットネットワークの更新にゆっくりとした移動平均（p=0.01）を用いることで、即時コピー（p=0）や固定パラメータ（p=1）よりも優れた結果が得られ、安定したターゲット更新の重要性が確認された。
• t-SNEの可視化結果から、DGBが完全な構成で学習した表現は、プロジェクションヘッドや適切なブートストラップ機構が欠落した場合と比べ、より判別力が高くクラス間で明確に分離されていることが確認された。