[論文レビュー] Self-supervised Auxiliary Learning with Meta-paths for Heterogeneous Graphs

Dasol Hwang, Jinyoung Park+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Graph Neural Networks参考文献 69被引用数 38

ひとこと要約

本論文は、異種グラフ上でメタ-path予測を自己監督付き補助タスクとして用い、これらを自動的にバランスさせて主タスクであるリンク予測とノード分類を強化する meta-learning フレームワーク SELAR を紹介する。任意で HintNet を用いて難易度の高いタスクの学習を補助する。

ABSTRACT

Graph neural networks have shown superior performance in a wide range of applications providing a powerful representation of graph-structured data. Recent works show that the representation can be further improved by auxiliary tasks. However, the auxiliary tasks for heterogeneous graphs, which contain rich semantic information with various types of nodes and edges, have less explored in the literature. In this paper, to learn graph neural networks on heterogeneous graphs we propose a novel self-supervised auxiliary learning method using meta-paths, which are composite relations of multiple edge types. Our proposed method is learning to learn a primary task by predicting meta-paths as auxiliary tasks. This can be viewed as a type of meta-learning. The proposed method can identify an effective combination of auxiliary tasks and automatically balance them to improve the primary task. Our methods can be applied to any graph neural networks in a plug-in manner without manual labeling or additional data. The experiments demonstrate that the proposed method consistently improves the performance of link prediction and node classification on heterogeneous graphs.

研究の動機と目的

• 異種グラフにおける豊富な意味情報を、自己監督付き補助タスクとしてのメタ-path予測を通じて活用する。
• 追加のデータラベルなしで主タスクを改善するために、複数の補助タスクを自動的に選択・重み付けする。
• 負の移転とタスクの優勢化を緩和するメタ学習ベースのバランシング機構を導入する。
• HintNet を用いて補助タスクを難しくしすぎず、主タスク learner の学習を支援する。

提案手法

• 補助タスクとしてメタ-path予測を用い、異種グラフの意味を捉える。
• 補助タスクと主タスクをソフトにバランスさせるメタ学習ベースの重み付け関数を採用する。
• 勾配ベースの更新によって学習するタスク重み (Theta) とモデルパラメータ (w) を近似するネストした最適化フレームワークを導入する。
• 補助タスクのヒントを調整し学習者の性能を向上させる Hint Network (HintNet) を実装する。
• メタオーバーフィットを緩和するためのクロスバリデーション風のメタデータセット更新を提供する（実験では3-fold CVを使用）。
• 既存の GNN（例：GCN、GAT、GIN、SGConv、GTN）への plug-in 適用性を実証する。

実験結果

リサーチクエスチョン

• RQ1 メタ-path 予測は異種グラフの表現学習を改善するのか？
• RQ2 SELAR と HintNet は主タスクのためのメタ-path ベースの補助学習をさらに改善できるのか？
• RQ3 提案手法が有効な理由は何か—実践的には重み付けとハードネガティブの役割はどうなるのか？
• RQ4 補助タスクのメタ学習におけるメタオーバーフィットはクロスバリデーションでどう影響を受けるのか？

主な発見

• メタ-path 予測は複数の GNN バックボーンにわたりリンク予測とノード分類を一貫して改善する。
• SELAR および SELAR+Hint は、リンク予測で Last-FM に対して最大約 2.0%、Book-Crossing に対して最大約 2.7%、ノード分類で IMDB に対して最大約 3.0% の顕著な絶対改善を達成する（素のトレーニングと比較）。
• 補助タスクを単に追加するだけではメタ学習なしではわずかに改善されるか、むしろ悪化することがある；SELAR と HintNet が最も大きな改善を提供する。
• SELAR+HintNet が学習する重み付け関数は難しい例に焦点を当て、容易なサンプルを効果的に低重み付けする、フォーカルロスの挙動に近い。
• メタ学習のクロスバリデーションはメタオーバーフィットを減らし、単一分割構成よりも大きなゲインを生み出す。