[論文レビュー] DA-HGT: Domain Adaptive Heterogeneous Graph Transformer.

Tiancheng Huang, Ke Xu+1 more|arXiv (Cornell University)|Dec 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 6

ひとこと要約

DA-HGT は、共有ノードタイプが部分的である異種情報ネットワーク（HINs）におけるドメインシフトを解決する、新しいドメイン適応型非均質的グラフトランスフォーマーである。同一タイプのノードおよびエッジを同時に整合させつつ、プライベートなノードタイプも活用することで、複数のドメイン適応タスクにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Domain adaptation using graph networks is to learn label-discriminative and network-invariant node embeddings by sharing graph parameters. Most existing works focus on domain adaptation of homogeneous networks, and just a few works begin to study heterogeneous cases that only consider the shared node types but ignore the private node types in individual networks. However, for a given source and target heterogeneous networks, they generally contain shared and private node types, where private types bring an extra challenge for graph domain adaptation. In this paper, we investigate Heterogeneous Information Networks (HINs) with partial shared node types and propose a novel domain adaptive heterogeneous graph transformer (DA-HGT) to handle the domain shift between them. DA-HGT can not only align the distributions of identical-type nodes and edges in two HINs but also make full use of different-type nodes and edges to improve the performance of knowledge transfer. Extensive experiments on several datasets demonstrate that DA-HGT can outperform state-of-the-art methods in various domain adaptation tasks across heterogeneous networks.

研究の動機と目的

• ソースおよびターゲットネットワークのノードタイプが部分的にしか共有しない異種情報ネットワーク（HINs）におけるドメインシフトを解決すること。
• 非均質的グラフネットワークにおける共有およびプライベートなノードタイプを活用することで、知識移行を向上させること。
• 異なるドメイン間で同一タイプのノードおよびエッジの分布を整合させるグラフトランスフォーマー・アーキテクチャを開発すること。
• プライベートなノードタイプが既存の手法にとって課題となる非均質ネットワークにおいて、効果的なドメイン適応を可能にすること。

提案手法

• ドメイン整合と非均質的グラフアテンションメカニズムを統合したドメイン適応型非均質的グラフトランスフォーマー（DA-HGT）を提案する。
• ソースおよびターゲットHIN間で同一タイプのノードおよびエッジの分布を整合させるための共有ノードタイプ整合モジュールを導入する。
• 各ドメイン内のプライベート・ノードからのタイプ固有の情報を保持・活用するためのプライベート・ノードタイプ集約モジュールを設計する。
• HINにおける多様な関係タイプおよびノード意味をモデル化するため、非均質的グラフアテンションネットワーク（HGT）のバックボーンを採用する。
• 共有ノードタイプのドメイン不変表現を促進するために、対照的学習の目的関数を用いる。
• 学習可能な統合メカニズムを用いて共有およびプライベート・ノード表現を統合し、知識移行を強化する。

実験結果

リサーチクエスチョン

• RQ1 ノードタイプに部分的な重複を示す非均質的情報ネットワークにおいて、どのようにしてドメイン適応を効果的に行えるか？
• RQ2 ソースおよびターゲットHINにおけるプライベート・ノードタイプは、ドメイン適応における知識移行にどの程度寄与するか？
• RQ3 グラフトランスフォーマー基盤アーキテクチャが、共有ノードタイプの統合とプライベート・ノードタイプの活用を同時に実現することで、性能向上を達成できるか？
• RQ4 DA-HGTは、クロスドメイン非均質ネットワーク分類タスクにおいて、最先端の手法と比較してどのように差をつけるか？

主な発見

• DA-HGT は、複数の非均質ネットワークドメイン適応ベンチマークにおいて、最先端の手法を上回る優れた性能を達成した。
• モデルは、ソースおよびターゲットネットワーク間で同一タイプのノードおよびエッジの分布を統合することで、ドメインシフトを効果的に低減した。
• プライベート・ノードタイプを活用することで、顕著な性能向上が得られ、知識移行におけるその価値を示した。
• アブレーションスタディの結果、共有統合とプライベート・ノードの活用の両方が最適なパフォーマンスを達成するために不可欠であることが確認された。