[論文レビュー] Self-supervised Auxiliary Learning for Graph Neural Networks via Meta-Learning

Dasol Hwang, Jinyoung Park+4 more|ArXiv.org|Mar 1, 2021

Advanced Graph Neural Networks参考文献 73被引用数 4

ひとこと要約

本論文では、異種グラフニューラルネットワークにおける主なタスク（ノード分類やリンク予測など）の性能を向上させるために、自己教師付き補助タスク（特にメタパス予測）を自動的に選択・バランスさせるメタラーニングフレームワーク、SELARを提案する。タスク固有の重み関数を学習し、予測を補正するためのヒントネットワークを用いることで、手動でのラベリングや追加データなしに表現学習を強化し、複数のデータセットで一貫した性能向上を達成する。

ABSTRACT

In recent years, graph neural networks (GNNs) have been widely adopted in the representation learning of graph-structured data and provided state-of-the-art performance in various applications such as link prediction, node classification, and recommendation. Motivated by recent advances of self-supervision for representation learning in natural language processing and computer vision, self-supervised learning has been recently studied to leverage unlabeled graph-structured data. However, employing self-supervision tasks as auxiliary tasks to assist a primary task has been less explored in the literature on graphs. In this paper, we propose a novel self-supervised auxiliary learning framework to effectively learn graph neural networks. Moreover, this work is the first study showing that a meta-path prediction is beneficial as a self-supervised auxiliary task for heterogeneous graphs. Our method is learning to learn a primary task with various auxiliary tasks to improve generalization performance. The proposed method identifies an effective combination of auxiliary tasks and automatically balances them to improve the primary task. Our methods can be applied to any graph neural network in a plug-in manner without manual labeling or additional data. Also, it can be extended to any other auxiliary tasks. Our experiments demonstrate that the proposed method consistently improves the performance of node classification and link prediction.

研究の動機と目的

• グラフ構造データにおけるマルチタスクGNN学習における負の転送の課題に対処するため、効果的な補助タスクを自動で同定すること。
• 異種グラフにおける自己教師付き学習を活用することで、手動でのラベリングや追加データなしに、GNNの一般化性能を向上させること。
• 任意のGNNアーキテクチャと互換性があり、メタラーニングによって主タスクと補助タスクのバランスを動的に制御できるプラグインフレームワークを開発すること。
• 異種グラフに特化して設計された、新しい自己教師付き補助タスクとしてのメタパス予測を導入し、豊かな意味的関係を捉えること。
• ハード例に注目する動的重み関数を学習することで、知識転送を改善し、下流タスクのモデル性能を向上させること。

提案手法

• 補助タスク選択と損失重みの最適化をメタラーニング問題として定式化し、メタラーナーが複数のタスクの損失重みを最適化する。
• 手動でのラベリングなしに、異種グラフから自動的にメタパスを生成し、自己教師付き補助タスクとして用いる。
• 挑戦的な補助タスクにおける学習者の予測を動的に補正するヒントネットワークを導入し、知識転送を向上させる。
• クロスエントロピー損失を調整するタスク固有の重み関数を用いる。これはファーカス損失に類似しており、容易な例を軽視し、困難な例に注目する。
• 重み関数は学習過程で進化し、初期段階では容易なサンプルに注目し、後期には困難なサンプルにシフトする。特に主タスクに高い注目度を割り当てる。
• フレームワークはプラグアンドプレイであり、任意のGNNアーキテクチャと互換性があり、自己教師付きおよび教師ありの両方の補助タスクに拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き補助タスクは、ノード分類やリンク予測などの主なタスクにおけるGNNの性能を向上させることができるか？
• RQ2 メタパス予測は異種グラフにおいて効果的な自己教師付き補助タスクであり、他の補助タスクよりも優れた表現学習を提供するか？
• RQ3 メタラーニングアプローチにより、複数の補助タスクを自動で同定・バランスさせることで、負の転送を回避し、一般化性能を向上させることができるか？
• RQ4 動的重み関数は、特にタスク間でハード例に注目することによって、学習にどのような影響を与えるか？
• RQ5 ヒントネットワークにより、困難な補助タスクにおける予測を補正することで、性能向上をさらに達成できるか？

主な発見

• SELARは、Last-FM や Book-Crossing を含む複数のデータセットにおいて、ノード分類およびリンク予測の性能を一貫して向上させる。
• 補助タスクとしてのメタパス予測は、特に異種グラフにおけるユーザーの好みのパターンを捉える上で顕著な性能向上をもたらす。
• SELARが学習する重み関数は、主にハード例に注目しており、特に主タスクにおいて、学習過程で容易なサンプルから困難なサンプルに注目をシフトする。
• ヒントネットワークは、特に困難なタスクや主タスクから遠く離れた関連性の低いタスクにおいて、補助タスクの利益を顕著に向上させる。
• Book-Crossingデータセットでは、フレームワークが「user-item」主タスクおよび「user-item-literary.series.item-user」メタパスに高い注目度を割り当てており、ユーザーの好みの類似性を効果的に捉えていることが示された。
• 後期の学習段階において、非常に低い損失または高い損失を持つサンプルに対して重み関数がほぼゼロに収束するため、すでに正しく分類されたか、誤分類されたサンプルの重要度が低下していることが示された。