[논문 리뷰] Self-supervised Auxiliary Learning for Graph Neural Networks via Meta-Learning

Dasol Hwang, Jinyoung Park외 4명|ArXiv.org|2021. 03. 01.

Advanced Graph Neural Networks참고 문헌 73인용 수 4

한 줄 요약

이 논문은 이질적 그래프 신경망에서 주요 작업(예: 노드 분류 및 링크 예측)의 성능을 향상시키기 위해 자가학습 보조 작업(특히 메타패스 예측)을 자동으로 선택하고 균형 조절하는 메타학습 프레임워크인 SELAR를 제안한다. 작업별 가중치 함수를 학습하고 힌트 네트워크를 사용해 예측을 보정함으로써, 수동 레이블링이나 추가 데이터 없이도 표현 학습을 향상시켜 다양한 데이터셋에서 일관된 성능 향상을 달성한다.

ABSTRACT

In recent years, graph neural networks (GNNs) have been widely adopted in the representation learning of graph-structured data and provided state-of-the-art performance in various applications such as link prediction, node classification, and recommendation. Motivated by recent advances of self-supervision for representation learning in natural language processing and computer vision, self-supervised learning has been recently studied to leverage unlabeled graph-structured data. However, employing self-supervision tasks as auxiliary tasks to assist a primary task has been less explored in the literature on graphs. In this paper, we propose a novel self-supervised auxiliary learning framework to effectively learn graph neural networks. Moreover, this work is the first study showing that a meta-path prediction is beneficial as a self-supervised auxiliary task for heterogeneous graphs. Our method is learning to learn a primary task with various auxiliary tasks to improve generalization performance. The proposed method identifies an effective combination of auxiliary tasks and automatically balances them to improve the primary task. Our methods can be applied to any graph neural network in a plug-in manner without manual labeling or additional data. Also, it can be extended to any other auxiliary tasks. Our experiments demonstrate that the proposed method consistently improves the performance of node classification and link prediction.

연구 동기 및 목표

• 다중 작업 GNN 학습에서의 부정적 전이 문제를 해결하기 위해 그래프 구조 데이터에 적합한 효과적인 보조 작업을 자동으로 식별하는 것.
• 이질적 그래프에서 자가학습을 활용해 수동 레이블링이나 추가 데이터 없이도 그래프 신경망의 일반화 성능을 향상시키는 것.
• 어떤 GNN 아키텍처와도 호환되는 플러그인 프레임워크를 개발하여 메타학습을 통해 주요 작업과 보조 작업을 동적으로 균형 조절하는 것.
• 이질적 그래프에 특화된 고유한 의미적 관계를 포착하기 위해 메타패스 예측을 새로운 자가학습 보조 작업으로 도입하는 것.
• 하나의 동적 가중치 함수를 학습시켜 어려운 예제에 집중하고 지식 전이를 향상시켜 최종 작업 성능을 향상시키는 것.

제안 방법

• 보조 작업 선택과 손실 가중치 조정을 메타학습 문제로 공식화하여, 메타학습자가 다수의 작업에 대한 손실 가중치를 최적화한다.
• 수동 레이블링 없이도 이질적 그래프에서 메타패스를 자동으로 생성하여 자가학습 보조 작업으로 활용한다.
• 어려운 보조 작업에서 학습자의 예측을 동적으로 보정하기 위해 힌트 네트워크를 도입한다.
• 교차 엔트로피 손실을 조정하는 작업별 가중치 함수를 사용하며, 이는 포칼 손실과 유사하게 쉬운 예제는 가중치를 낮추고 어려운 예제에 집중한다.
• 가중치 함수는 학습 과정에서 진화하며, 초기에는 쉬운 샘플에 집중하다가 점차 어려운 샘플로 이동하며 주요 작업에 더 높은 주의를 기울인다.
• 프레임워크는 플러그인 방식이므로 어떤 GNN 아키텍처와도 호환되며, 자가학습 및 지도 학습 보조 작업 모두로 확장 가능하다.

실험 결과

연구 질문

• RQ1 자기학습 보조 작업이 노드 분류 및 링크 예측과 같은 주요 작업의 성능을 향상시킬 수 있는가?
• RQ2 메타패스 예측은 이질적 그래프에 대해 효과적인 자가학습 보조 작업인가? 그리고 다른 보조 작업보다 더 나은 표현 학습을 제공하는가?
• RQ3 메타학습 접근법을 통해 여러 보조 작업을 자동으로 식별하고 균형 조절할 수 있는가? 이는 부정적 전이를 방지하고 일반화 성능을 향상시키는가?
• RQ4 동적 가중치 함수는 학습에 어떤 영향을 미치며, 특히 다양한 작업에서 어려운 예제에 집중하는 데서 어떤 영향을 미치는가?
• RQ5 힌트 네트워크가 어려운 보조 작업에서의 예측을 보정함으로써 성능 향상을 추가로 달성할 수 있는가?

주요 결과

• SELAR는 Last-FM 및 Book-Crossing를 포함한 여러 데이터셋에서 노드 분류 및 링크 예측 성능을 일관되게 향상시킨다.
• 보조 작업으로서의 메타패스 예측은 특히 이질적 그래프에서 사용자 선호 패턴을 포착하는 데 있어 뚜렷한 성능 향상을 제공한다.
• SELAR가 학습한 가중치 함수는 주로 어려운 예제, 특히 주요 작업에서 집중하며 학습 과정에서 쉬운 샘플에서 어려운 샘플로의 집중 이동을 나타낸다.
• 힌트 네트워크는 특히 어려운 또는 주요 작업과 관련성이 낮은 보조 작업일 경우 보조 작업의 성능 향상을 크게 향상시킨다.
• Book-Crossing 데이터셋에서 프레임워크는 'user-item' 주요 작업과 'user-item-literary.series.item-user' 메타패스에 더 높은 주의를 기울이며 사용자 선호도 유사성을 효과적으로 포착한다.
• 후반 학습 단계에서 매우 낮거나 높은 손실을 가진 샘플에 대해 가중치 함수가 근처 0에 수렴함으로써, 이미 잘 분류되거나 잘못 분류된 샘플의 중요도가 감소함을 나타낸다.