[논문 리뷰] Self-supervised Auxiliary Learning with Meta-paths for Heterogeneous Graphs

Dasol Hwang, Jinyoung Park외 4명|arXiv (Cornell University)|2020. 07. 16.

Advanced Graph Neural Networks참고 문헌 69인용 수 38

한 줄 요약

논문은 SELAR를 도입합니다—메타-path 예측을 자기지도 보조 작업으로 사용하고 이를 자동으로 균형 조정하여 링크 예측 및 노드 분류와 같은 주요 작업을 향상시키며, 더 어려운 작업을 위한 HintNet이 선택적으로 제공됩니다.

ABSTRACT

Graph neural networks have shown superior performance in a wide range of applications providing a powerful representation of graph-structured data. Recent works show that the representation can be further improved by auxiliary tasks. However, the auxiliary tasks for heterogeneous graphs, which contain rich semantic information with various types of nodes and edges, have less explored in the literature. In this paper, to learn graph neural networks on heterogeneous graphs we propose a novel self-supervised auxiliary learning method using meta-paths, which are composite relations of multiple edge types. Our proposed method is learning to learn a primary task by predicting meta-paths as auxiliary tasks. This can be viewed as a type of meta-learning. The proposed method can identify an effective combination of auxiliary tasks and automatically balance them to improve the primary task. Our methods can be applied to any graph neural networks in a plug-in manner without manual labeling or additional data. The experiments demonstrate that the proposed method consistently improves the performance of link prediction and node classification on heterogeneous graphs.

연구 동기 및 목표

• 이질 그래프의 풍부한 의미 정보를 메타-path 예측을 자기지도 보조 작업으로 활용.
• 자동으로 여러 보조 작업을 선택하고 가중치를 부여하여 추가 데이터 라벨 없이 주요 작업을 개선합니다.
• 부정전이(negative transfer) 및 작업 지배를 완화하기 위한 메타학습 기반 균형 메커니즘 도입.
• HintNet으로 학습을 강화하여 보조 작업의 난이도를 높여 주요 작업 학습자를 더 해결가능하게 만듭니다.

제안 방법

• 이질 그래프의 의미를 포착하기 위해 보조 작업으로 메타-path 예측 사용.
• 보조 작업과 주요 작업을 부드럽게 균형 잡기 위한 메타학습 기반 가중치 함수 사용.
• 그래디언트 기반 업데이트로 근사된 중첩 최적화 프레임워크를 도입하여 작업 가중치(Theta)와 모델 매개변수(w)를 학습.
• 보조 작업 힌트를 조정하고 학습자 성능을 향상시키기 위한 Hint Network(HintNet) 구현.
• 메타과적합을 완화하기 위한 교차 검증 스타일의 메타데이터세트 업데이트 제공(실험에서 3-fold CV 사용).
• 기존 GNN에 플러그인 적용 가능성 시연(e.g., GCN, GAT, GIN, SGConv, GTN).

실험 결과

연구 질문

• RQ1 이질 그래프에서 메타-path 예측이 표현 학습을 개선하나?
• RQ2 SELAR 및 HintNet이 주요 작업을 위한 메타-path 기반 보조 학습을 더 개선할 수 있는가?
• RQ3 제안된 방법들이 왜 효과적인가—가중치 부여와 실험적 'hard negatives'의 역할은 무엇인가?
• RQ4 교차 검증이 보조 작업의 메타학습에서 메타오버피팅에 어떤 영향을 미치는가?

주요 결과

• 메타-path 예측은 여러 GNN 백본에서 일관되게 링크 예측 및 노드 분류를 개선합니다.
• SELAR 및 SELAR+Hint는 상당한 절대 이득을 달성합니다(예: Last-FM에서 최대 약 2.0%, Book-Crossing에서 2.7%의 링크 예측; IMDB에서 약 3.0%의 노드 분류) vanilla 학습에 비해.
• 메타-학습 없이 메타-path를 단순히 추가하는 것은 약간 도움이 되거나 해로울 수 있습니다; SELAR 및 HintNet이 가장 큰 개선을 제공합니다.
• SELAR+HintNet으로 학습된 가중치 함수는 어려운 샘플에 집중하고 쉬운 샘플은 효과적으로 낮은 가중치를 부여해 focal loss와 유사한 동작을 보입니다.
• 메타-학습에 대한 교차 검증은 메타오버피팅을 줄이고 단일 폴 구성과 비교해 더 큰 이득을 제공합니다.