[논문 리뷰] Zero-shot Transfer Learning within a Heterogeneous Graph via Knowledge Transfer Networks

Minji Yoon, John Palowitch외 4명|arXiv (Cornell University)|2022. 03. 03.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 이질적 그래프를 위한 제로샷 전이 학습 프레임워크인 지식 전이 네트워크(KTN)를 제안한다. KTN은 이질적 그래프 신경망(HGNN)에서 노드 유형별 특징 추출기 간 이론적 관계를 모델링하여 레이블이 풍부한 노드 유형에서 레이블이 없는 노드 유형으로 지식을 전이한다. KTN은 레이블이 없는 노드에서 HGNN 성능을 최대 960% 향상시키며, 18개의 전이 학습 과제에서 최신 기준보다 최대 73% 높은 성능을 기록한다.

ABSTRACT

Data continuously emitted from industrial ecosystems such as social or e-commerce platforms are commonly represented as heterogeneous graphs (HG) composed of multiple node/edge types. State-of-the-art graph learning methods for HGs known as heterogeneous graph neural networks (HGNNs) are applied to learn deep context-informed node representations. However, many HG datasets from industrial applications suffer from label imbalance between node types. As there is no direct way to learn using labels rooted at different node types, HGNNs have been applied to only a few node types with abundant labels. We propose a zero-shot transfer learning module for HGNNs called a Knowledge Transfer Network (KTN) that transfers knowledge from label-abundant node types to zero-labeled node types through rich relational information given in the HG. KTN is derived from the theoretical relationship, which we introduce in this work, between distinct feature extractors for each node type given in an HGNN model. KTN improves performance of 6 different types of HGNN models by up to 960% for inference on zero-labeled node types and outperforms state-of-the-art transfer learning baselines by up to 73% across 18 different transfer learning tasks on HGs.

연구 동기 및 목표

• 일부 노드 유형은 레이블이 풍부한 반면 다른 노드 유형은 완전히 레이블이 없는 산업용 이질적 그래프에서의 레이블 불균형 문제를 해결한다.
• 표준 HGNN은 각 노드 유형마다 별도의 특징 추출기를 사용하므로, 레이블이 있는 유형에서 없는 유형으로 직접 전이가 불가능한 한계를 극복한다.
• 관계적 구조를 활용하여 레이블이 적은 노드 유형과 레이블이 많은 노드 유형을 연결함으로써, 단일 이질적 그래프 내에서 효과적인 제로샷 전이 학습을 가능하게 하는 방법을 개발한다.
• HGNN에서 노드 유형별 특징 추출기 간의 관계에 대한 이론적 기반을 구축하여, 서로 다른 노드 유형 간 지식 전이를 가능하게 한다.
• 다양한 HGNN 아키텍처와 실제 및 합성 이질적 그래프 벤치마크에서 KTN의 효과성을 입증한다.

제안 방법

• HGNN의 기울기 경로 이론적 분석을 통해 각 노드 유형이 고유한 특징 추출기를 가지며, 이는 레이블이 있는 유형에서 없는 유형으로 직접 전이를 방해함을 밝혀낸다.
• 원천(레이블이 있는) 및 대상(레이블이 없는) 노드 유형의 특징 추출기 간 분포적 관계를 모델링하는 지식 전이 네트워크(KTN)를 제안한다.
• KTN은 대상 노드 임베딩을 원천 노드 임베딩의 분포로 매핑하는 변환을 학습하여 효과적인 제로샷 추론을 가능하게 한다.
• KTN은 대상 임베딩을 원천 도메인 분포와 정렬하는 대trastive 손실을 사용하여 HGNN와 함께 엔드 투 엔드로 최적화된다.
• KTN은 아키텍처에 종속되지 않으며, MPNN, R-GCN, HGT, HAN, MAGNN, HMPNN와 같이 유형별 매개변수를 갖는 모든 HGNN 모델에 적용 가능하다.
• 메서드는 실제(Open Academic Graph, PubMed) 및 합성 이질적 그래프에서 18개의 전이 학습 과제를 통해 평가되었으며, 다양한 HGNN 백본을 사용하였다.

실험 결과

연구 질문

• RQ1 각 노드 유형이 고유한 특징 추출기를 가지는 상황에서, 단일 이질적 그래프 내에서 레이블이 풍부한 노드 유형에서 레이블이 없는 노드 유형으로 지식을 효과적으로 전이할 수 있는가?
• RQ2 HGNN에서 노드 유형별 특징 추출기 간 존재하는 이론적 관계는 무엇이며, 이러한 전이를 가능하게 하는가?
• RQ3 KTN은 이질적 그래프에서 제로샷 전이 학습에 있어 최신 기술의 도메인 적응 방법(예: DAN, JAN, DANN, CDAN, CDAN-E, WDGRL)보다 어떻게 성능이 뛰어나게 되는가?
• RQ4 이질적 그래프에서 크로스타입 지식 전이가 가장 효과적인 구조적 및 분포적 조건는 무엇인가?
• RQ5 KTN은 다양한 HGNN 아키텍처와 이질적 그래프 구조에 대해 일반화 가능한가?

주요 결과

• KTN은 여섯 가지 다른 HGNN 모델에서 레이블이 없는 노드 유형의 추론 성능을 최대 960% 향상시켜 제로샷 전이에서 뚜렷한 성과를 보였다.
• KTN은 이질적 그래프에서 18개의 독립된 전이 학습 과제에서 최신 기술 기반 도메인 적응 베이스라인(DAN, JAN, DANN, CDAN, CDAN-E, WDGRL)을 최대 73% 뛰어넘는 성능을 기록했다.
• MPNN, R-GCN, HGT, HAN, MAGNN, HMPNN와 같은 다양한 HGNN 아키텍처에서 효과적이며, 일반화 능력을 확인했다.
• 실험 결과 KTN은 원천 및 대상 노드가 구조적으로 다를 경우에도 레이블이 없을 때 성능 저하를 크게 완화함을 보여주었다.
• 합성 그래프 생성기 분석 결과, 원천 및 대상 노드 유형이 다수의 간선 유형을 통해 강한 상호 연결성을 가지는 경우 전이 효과가 가장 높았다.
• 모든 18개의 과제에서 KTN은 일관된 향상을 기록하여 실제 및 합성 이질적 그래프 환경에서의 강건성과 신뢰성을 입증했다.