[논문 리뷰] DA-HGT: Domain Adaptive Heterogeneous Graph Transformer.

Tiancheng Huang, Ke Xu외 1명|arXiv (Cornell University)|2020. 12. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 6

한 줄 요약

DA-HGT는 공유되는 노드 유형이 부분적인 이질적 정보 네트워크(HINs)에서 도메인 이동 문제를 해결하기 위해 동일 유형의 노드와 간선을 동시에 정렬하면서도 비공유 노드 유형을 활용하는 새로운 도메인 적응형 이질적 그래프 트랜스포머이다. 이는 여러 도메인 적응 작업에서 최신 기법들을 능가한다.

ABSTRACT

Domain adaptation using graph networks is to learn label-discriminative and network-invariant node embeddings by sharing graph parameters. Most existing works focus on domain adaptation of homogeneous networks, and just a few works begin to study heterogeneous cases that only consider the shared node types but ignore the private node types in individual networks. However, for a given source and target heterogeneous networks, they generally contain shared and private node types, where private types bring an extra challenge for graph domain adaptation. In this paper, we investigate Heterogeneous Information Networks (HINs) with partial shared node types and propose a novel domain adaptive heterogeneous graph transformer (DA-HGT) to handle the domain shift between them. DA-HGT can not only align the distributions of identical-type nodes and edges in two HINs but also make full use of different-type nodes and edges to improve the performance of knowledge transfer. Extensive experiments on several datasets demonstrate that DA-HGT can outperform state-of-the-art methods in various domain adaptation tasks across heterogeneous networks.

연구 동기 및 목표

• 원천 및 대상 네트워크가 부분적으로만 노드 유형을 공유하는 이질적 정보 네트워크(HINs)에서의 도메인 이동 문제를 해결하기 위해.
• 이질적 그래프 네트워크에서 공유 및 비공유 노드 유형을 활용하여 지식 전이를 향상시키기 위해.
• 다양한 도메인 간 동일 유형의 노드 및 간선 분포를 정렬하는 그래프 트랜스포머 아키텍처를 개발하기 위해.
• 기존 방법이 도전 과제로 삼는 비공유 노드 유형이 존재하는 이질적 네트워크에서 효과적인 도메인 적응을 가능하게 하기 위해.

제안 방법

• 도메인 정렬을 이질적 그래프 어텐션 메커니즘과 통합한 도메인 적응형 이질적 그래프 트랜스포머(DA-HGT)를 제안한다.
• 원천 및 대상 HIN 간 동일 유형의 노드 및 간선 분포를 정렬하기 위한 공유 노드 유형 정렬 모듈을 도입한다.
• 각 도메인의 비공유 노드에서 유형별 정보를 유지하고 활용하기 위한 비공유 노드 유형 집계 모듈을 설계한다.
• HIN 내 다양한 관계 유형과 노드 의미를 모델링하기 위해 이질적 그래프 어텐션 네트워크(HGT) 기반 아키텍처를 사용한다.
• 공유 노드 유형에 대해 도메인 불변 표현을 장려하기 위해 대비 학습 목표를 사용한다.
• 학습 가능한 융합 메커니즘을 통해 공유 및 비공유 노드 표현을 결합하여 지식 전이를 향상시킨다.

실험 결과

연구 질문

• RQ1 노드 유형이 부분적으로 겹치는 이질적 정보 네트워크에서 효과적인 도메인 적응을 어떻게 수행할 수 있는가?
• RQ2 원천 및 대상 HIN의 비공유 노드 유형이 도메인 적응에서 지식 전이에 어느 정도 기여할 수 있는가?
• RQ3 그래프 트랜스포머 기반 아키텍처가 공유 노드 유형을 동시에 정렬하고 비공유 노드 유형을 활용하여 성능을 향상시킬 수 있는가?
• RQ4 DA-HGT는 이질적 네트워크의 도메인 간 분류 작업에서 최신 기법들과 비교하여 어떻게 성능을 내는가?

주요 결과

• DA-HGT는 여러 이질적 네트워크 도메인 적응 벤치마크에서 최신 기법들을 능가하는 뛰어난 성능을 기록한다.
• 원천 및 대상 네트워크 간 동일 유형의 노드 및 간선 분포를 정렬함으로써 도메인 이동을 효과적으로 감소시킨다.
• 비공유 노드 유형을 활용하면 성능 향상이著명하여, 지식 전이에서 그 가치를 입증한다.
• 절단 실험 결과, 공유 정렬과 비공유 노드 활용이 최적 성능을 내기 위해 필수적임을 확인한다.