[論文レビュー] Zero-shot Transfer Learning within a Heterogeneous Graph via Knowledge Transfer Networks

Minji Yoon, John Palowitch+4 more|arXiv (Cornell University)|Mar 3, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、異種グラフにおけるゼロショット転移学習フレームワークとして、知識移転ネットワーク（KTN）を提案する。KTNは、異種グラフニューラルネットワーク（HGNN）におけるノードタイプ固有の特徴抽出器の理論的関係をモデル化することで、ラベル豊富なノードタイプからラベルなしのノードタイプへ知識を転送する。KTNは、ラベルなしノードタイプにおけるHGNNの性能を最大960%向上させ、18の転移学習タスクにおいて最先端のベースラインを最大73%上回る。

ABSTRACT

Data continuously emitted from industrial ecosystems such as social or e-commerce platforms are commonly represented as heterogeneous graphs (HG) composed of multiple node/edge types. State-of-the-art graph learning methods for HGs known as heterogeneous graph neural networks (HGNNs) are applied to learn deep context-informed node representations. However, many HG datasets from industrial applications suffer from label imbalance between node types. As there is no direct way to learn using labels rooted at different node types, HGNNs have been applied to only a few node types with abundant labels. We propose a zero-shot transfer learning module for HGNNs called a Knowledge Transfer Network (KTN) that transfers knowledge from label-abundant node types to zero-labeled node types through rich relational information given in the HG. KTN is derived from the theoretical relationship, which we introduce in this work, between distinct feature extractors for each node type given in an HGNN model. KTN improves performance of 6 different types of HGNN models by up to 960% for inference on zero-labeled node types and outperforms state-of-the-art transfer learning baselines by up to 73% across 18 different transfer learning tasks on HGs.

研究の動機と目的

• 一部のノードタイプに豊富なラベルがある一方で、他のノードタイプが完全にラベルなしである産業的応用における異種グラフのラベル不均衡問題に対処する。
• 各ノードタイプごとに別個の特徴抽出器を用いる標準的なHGNNの制限を克服する。これは、ラベルありノードタイプからラベルなしノードタイプへの直接的な転送が不可能であることを意味する。
• 関係構造を活用してラベルが乏しいノードタイプとラベルが豊富なノードタイプを結ぶことで、単一の異種グラフ内での有効なゼロショット転移学習を可能にする手法を開発する。
• HGNNにおけるノードタイプ固有の特徴抽出器の関係性に理論的基盤を設け、異なるノードタイプ間での知識移転を可能にする。
• 実世界および合成された異種グラフベンチマークを用いて、KTNの有効性を多様なHGNNアーキテクチャで実証する。

提案手法

• HGNNにおける勾配パスの理論的分析により、各ノードタイプが固有の特徴抽出器を持つことが判明し、ラベルありノードタイプからラベルなしノードタイプへの直接的転送が不可能であることが示された。
• ソース（ラベルあり）ノードタイプとターゲット（ラベルなし）ノードタイプの特徴抽出器間の分布的関係をモデル化する知識移転ネットワーク（KTN）を提案する。
• KTNは、ターゲットノード埋め込みをソースノード埋め込みの分布にマッピングする変換を学習し、効果的なゼロショット推論を可能にする。
• KTNは、ターゲット埋め込みをソースドメインの分布に一致させるコントラスト型損失を用いて、HGNNとエンドツーエンドで最適化される。
• KTNはアーキテクチャに依存せず、MPNN、R-GCN、HGT、HAN、MAGNN、HMPNNなどのタイプ固有パrameterを持つ任意のHGNNモデルに適用可能である。
• 本手法は、実世界（Open Academic Graph、PubMed）および合成された異種グラフ上で、複数のHGNNバックボーンを用いて18の転移学習タスクで評価された。

実験結果

リサーチクエスチョン

• RQ1 ノードタイプごとに異なる特徴抽出器を持つにもかかわらず、単一の異種グラフ内において、ラベル豊富なノードタイプからラベルなしノードタイプへの知識を効果的に転送できるか？
• RQ2 HGNNにおけるノードタイプ固有の特徴抽出器間に存在する理論的関係は何か？この関係が、このような転送を可能にする。
• RQ3 KTNは、異種グラフにおけるゼロショット転移学習において、最先端のドメイン適応手法（DAN、JAN、DANN、CDAN、CDAN-E、WDGRL）と比較してどのように性能を発揮するか？
• RQ4 異種グラフにおいて、クロスタイプ知識移転が最も効果的となる構造的および分布的条件は何か？
• RQ5 KTNは多様なHGNNアーキテクチャおよび異種グラフ構造に一般化可能か？

主な発見

• KTNは、6種類の異なるHGNNモデルを用いて、ラベルなしノードタイプの推論性能を最大960%向上させ、ゼロショット転移における顕著な向上を示した。
• KTNは、異種グラフ上での18の異なる転移学習タスクにおいて、最先端のドメイン適応ベースライン（DAN、JAN、DANN、CDAN、CDAN-E、WDGRL）を最大73%上回った。
• 本手法は、MPNN、R-GCN、HGT、HAN、MAGNN、HMPNNを含む多様なHGNNアーキテクチャで有効であることが確認され、汎用性が裏付けられた。
• 実証的結果から、ソースとターゲットノードが構造的に異なる場合でも、KTNはターゲットノードタイプにおける性能低下を顕著に緩和することが示された。
• 合成グラフ生成器の結果から、ソースとターゲットノードタイプが複数のエッジタイプを通じて強い関係的接続性を共有する場合、転送効果が最大となることが明らかになった。
• KTNはすべての18のタスクで一貫した向上を達成しており、実世界および合成された異種グラフ環境における強固さと信頼性を確認した。