[논문 리뷰] Node Classification on Graphs with Few-Shot Novel Labels via Meta Transformed Network Embedding

Lin Lan, Pinghui Wang외 4명|arXiv (Cornell University)|2020. 07. 06.

Advanced Graph Neural Networks참고 문헌 46인용 수 23

한 줄 요약

이 논문은 새로운 레이블을 가진 그래프에서 소수의 예시로 노드 분류를 수행할 수 있도록 그래프 구조적 표현과 학습 가능한 임베딩 변환을 결합한 메타학습 프레임워크인 MetaTNE을 제안한다. 기존에 알려진 레이블을 활용해 구조적 패턴을 메타학습하고, 표현을 변환하는 함수를 적용함으로써, 네 개의 실세계 데이터셋에서 최신 기술(SOTA)을 크게 능가하며, 매우 적은 지원 예시로도 새로운 레이블에 대해 강력한 일반화 성능을 보여준다.

ABSTRACT

We study the problem of node classification on graphs with few-shot novel labels, which has two distinctive properties: (1) There are novel labels to emerge in the graph; (2) The novel labels have only a few representative nodes for training a classifier. The study of this problem is instructive and corresponds to many applications such as recommendations for newly formed groups with only a few users in online social networks. To cope with this problem, we propose a novel Meta Transformed Network Embedding framework (MetaTNE), which consists of three modules: (1) A \emph{structural module} provides each node a latent representation according to the graph structure. (2) A \emph{meta-learning module} captures the relationships between the graph structure and the node labels as prior knowledge in a meta-learning manner. Additionally, we introduce an \emph{embedding transformation function} that remedies the deficiency of the straightforward use of meta-learning. Inherently, the meta-learned prior knowledge can be used to facilitate the learning of few-shot novel labels. (3) An \emph{optimization module} employs a simple yet effective scheduling strategy to train the above two modules with a balance between graph structure learning and meta-learning. Experiments on four real-world datasets show that MetaTNE brings a huge improvement over the state-of-the-art methods.

연구 동기 및 목표

• 기존에 보지 못한 레이블이 소수의 레이블 예시만으로 나타나는 그래프에서의 노드 분류 문제를 해결하기 위해.
• 기존 레이블을 기반으로 그래프 구조와 노드 레이블 간의 공유되는 전파 패턴을 학습하여 새로운 레이블로의 일반화 성능을 향상시키기 위해.
• 기존의 비지도 및 준지도 학습 방법이 소수의 예시로 새로운 레이블을 다룰 때 성능이 떨어지는 한계를 극복하기 위해.
• 비정규적인 그래프 구조에 대해 강건하고 효과적인 방식으로 그래프 네트워크 임베딩과 메타학습을 통합하는 프레임워크를 설계하기 위해.
• 재학습이나 미세조정 없이도 훈련 후에 직접 새로운 레이블에 대한 추론을 수행할 수 있도록 하기 위해.

제안 방법

• 구조 모듈은 그래프의 위상 구조에 기반하여 노드 표현을 학습하는 데에만 초점을 맞춘 그래프 신경망을 사용한다.
• 메타학습 모듈은 훈련 중에 소수의 예시 분류 작업을 시뮬레이션하여 기존 레이블 간의 레이블-구조 관계에 대한 사전 지식을 학습한다.
• 임베딩 변환 함수는 구조 전용 노드 임베딩을 작업에 특화된 표현으로 매핑하여 새로운 레이블로의 적응 능력을 향상시킨다.
• 구조적 및 메타학습 목표 간의 최적화를 균형 잡기 위해 스케줄링 전략을 도입하여 훈련의 안정성과 성능을 향상시킨다.
• 구조 모듈과 메타학습 모듈을 동적 손실 가중치를 활용해 함께 훈련함으로써, 어느 한 구성 요소에 과적합되는 것을 방지한다.
• 메타학습된 변환은 추론 시에 직접 새로운 레이블에 적용되어, 최소한의 지원 예시로도 제로샷 유사 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메타학습 기법을 그래프 구조 데이터에 효과적으로 적용하여 새로운 레이블을 가진 소수의 예시로 노드 분류를 수행할 수 있는가?
• RQ2 그래프 구조와 레이블 간의 공유되는 전파 패턴을 어떻게 캡처하고 활용하여 소수의 예시로의 일반화 성능을 향상시킬 수 있는가?
• RQ3 임베딩 변환 함수는 구조 전용 표현과 작업에 특화된 분류 간 격차를 어떻게 메우는가?
• RQ4 구조적 및 메타학습 구성 요소의 훈련을 어떻게 균형 잡아 안정성과 성능 향상을 달성할 수 있는가?
• RQ5 제안된 프레임워크는 소수의 지원 노드만으로도 새로운 레이블로 효과적으로 일반화할 수 있으며, 기존 최신 기술(SOTA)을 능가하는가?

주요 결과

• MetaTNE는 네 개의 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 소수의 예시로 노드 분류하는 데서 일관되고 뚜렷한 향상을 보였다.
• 제거 실험(V1)을 통해 임베딩 변환 함수의 필요성을 확인하였으며, 사전 학습된 노드 임베딩이 존재하더라도 이 함수를 제거하면 성능 저하가 발생함을 입증하였다.
• 제안된 스케줄링 전략(V4)은 구조적 및 메타학습 목표를 균형 잡는 데 기여하여, 고정된 손실 가중치로 공동 최적화하는 것(V3)보다 성능이 뛰어나다.
• 사전 학습 후 노드 임베딩를 고정하는 것(V5)은 열악한 성능을 보였으며, 이는 구조적 및 메타학습 구성 요소의 공동 최적화가 필수적임을 증명한다.
• 자기주의 어텐션을 사용한 작업에 특화된 임베딩 계산 방식(V2)은 MetaTNE에 비해 성능이 열 劣하며, 식 (3)에 제안된 변환 메커니즘이 효과적임을 검증한다.
• 시각화 및 제거 실험 결과, 변환 함수가 특히 자원이 부족한 새로운 레이블에 대해 표현의 적응 능력을 향상시킨다는 점을 확인하였다.