[논문 리뷰] Contrastive Self-supervised Learning for Graph Classification

Jiaqi Zeng, Pengtao Xie|arXiv (Cornell University)|2020. 09. 13.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 저데이터 환경에서 과적합을 완화하기 위해 그래프 분류를 위한 두 가지 대비형 자기지도 학습(CSSL) 방법—CSSL-Pretrain와 CSSL-Reg—을 제안한다. 대비형 자기지도 학습을 통해 무라벨 그래프에서 그래프 인코더를 사전학습하거나, CSSL을 데이터에 의존하는 정규화 요소로 사용함으로써 일반화 성능을 향상시킨다. 특히 CSSL-Reg는 분류 및 대비 학습 목표를 함께 최적화함으로써 5개 데이터셋 중 4개에서 뛰어난 성능을 보였다.

ABSTRACT

Graph classification is a widely studied problem and has broad applications. In many real-world problems, the number of labeled graphs available for training classification models is limited, which renders these models prone to overfitting. To address this problem, we propose two approaches based on contrastive self-supervised learning (CSSL) to alleviate overfitting. In the first approach, we use CSSL to pretrain graph encoders on widely-available unlabeled graphs without relying on human-provided labels, then finetune the pretrained encoders on labeled graphs. In the second approach, we develop a regularizer based on CSSL, and solve the supervised classification task and the unsupervised CSSL task simultaneously. To perform CSSL on graphs, given a collection of original graphs, we perform data augmentation to create augmented graphs out of the original graphs. An augmented graph is created by consecutively applying a sequence of graph alteration operations. A contrastive loss is defined to learn graph encoders by judging whether two augmented graphs are from the same original graph. Experiments on various graph classification datasets demonstrate the effectiveness of our proposed methods.

연구 동기 및 목표

• 제한된 레이블된 학습 데이터로 인한 그래프 분류에서의 과적합 문제를 해결하기 위해.
• 인간이 레이블링한 데이터에 의존하지 않고 강건한 그래프 수준 표현을 학습할 수 있는 자기지도 학습 방법을 개발하기 위해.
• 대비형 자기지도 학습을 활용해 널리 확보 가능한 무라벨 그래프에서 그래프 인코더를 사전학습함으로써 일반화 성능을 향상시키기 위해.
• 분류 및 대비 학습 목표를 함께 최적화하는 CSSL 기반 정규화 요소를 설계하기 위해.
• 이러한 방법들이 다양한 그래프 분류 벤치마크에서 효과적으로 작용하는지 평가하기 위해.

제안 방법

• CSSL-Pretrain는 대비형 자기지도 학습을 통해 무라벨 그래프에서 그래프 인코더를 사전학습한 후, 레이블된 데이터에서 미세조정한다.
• CSSL-Reg는 대비 손실을 정규화 요소로 통합하여, 학습 중에 감독 분류 손실과 함께 함께 최적화한다.
• 그래프 증강은 네 가지 연산을 순차적으로 적용하여 생성된다: 간선 삭제, 간선 삽입, 노드 삭제, 노드 삽입.
• 대비 손실은 두 증강된 그래프가 동일한 원본 그래프에서 유래되었는지 여부를 구분하도록 정의된다.
• 사전학습 및 미세조정 모두에서 그래프 신경망을 백본 인코더로 사용한다.
• 증강 연산의 무작위 선택을 통해 대비 작업의 난이도를 높이고 표현의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 무라벨 그래프에서의 대비형 자기지도 학습이 제한된 레이블된 데이터에서 그래프 분류의 일반화 성능을 향상시키는가?
• RQ2 감독 분류 작업과 대비형 자기지도 학습 작업을 함께 최적화하는 것이 표준 미세조정 대비 과적합을 줄이는가?
• RQ3 그래프 증강 전략의 선택이 자기지도 사전학습 성능에 어떤 영향을 미치는가?
• RQ4 도메인 차이가 있는 여러 데이터셋에서 사전학습하면 목표 그래프 분류 작업의 성능이 떨어지는가?
• RQ5 모델 정확도와 일반화 능력 측면에서 분류 손실과 CSSL 정규화 요소 간의 최적의 균형은 무엇인가?

주요 결과

• CSSL-Pretrain와 CSSL-Reg는 다섯 개의 그래프 분류 데이터셋에서 베이스라인 방법을 모두 능가하며, 과적합에 대한 강건성을 향상시켰다.
• CSSL-Reg는 다섯 데이터셋 중 네 개에서 CSSL-Pretrain보다 더 뛰어난 성능을 보였으며, 이는 함께 최적화함으로써 소규모 레이블된 데이터셋에 대한 편향을 줄일 수 있음을 시사한다.
• CSSL-Reg에서는 CSSL-Pretrain보다 훈련-테스트 정확도 갭이 작아, 더 강력한 일반화 능력을 확인할 수 있었다.
• 세 가지의 랜덤 그래프 증강 연산을 순차적으로 적용하는 것이 단일 연산을 사용하는 것보다 더 높은 성능을 보였는데, 이는 작업 난이도가 증가했기 때문이다.
• 무작위 선택이 결정론적 선택보다 성능이 뛰어나며, 더 도전적인 대비 작업을 만들어 더 강건한 표현을 얻을 수 있었다.
• CSSL-Reg에서 최적의 정규화 강도가 존재한다: 너무 높은 값은 분류 손실를 압도하여 성능을 떨어뜨린다.