[논문 리뷰] Label Contrastive Coding based Graph Neural Network for Graph Classification

Yuxiang Ren, Jiyang Bai외 1명|arXiv (Cornell University)|2021. 01. 14.

Advanced Graph Neural Networks참고 문헌 36인용 수 4

한 줄 요약

이 논문은 레이블 대비 코드를 통합한 지도 학습과 함께 그래프 분류 성능을 향상시키는 새로운 그래프 신경망인 LCGNN을 제안한다. 동적 레이블 메모리 백과 모멘텀 업데이트된 인코더를 활용하여, 인스턴스 수준의 동일 클래스 내 응집도와 이질 클래스 간 분리도를 향상시키며, 여덟 개의 벤치마크 데이터셋 중 일곱 개에서 최신 기술 수준의 성능을 달성하고, 더 적은 학습 데이터로도 베이스라인을 능가한다.

ABSTRACT

Graph classification is a critical research problem in many applications from different domains. In order to learn a graph classification model, the most widely used supervision component is an output layer together with classification loss (e.g.,cross-entropy loss together with softmax or margin loss). In fact, the discriminative information among instances are more fine-grained, which can benefit graph classification tasks. In this paper, we propose the novel Label Contrastive Coding based Graph Neural Network (LCGNN) to utilize label information more effectively and comprehensively. LCGNN still uses the classification loss to ensure the discriminability of classes. Meanwhile, LCGNN leverages the proposed Label Contrastive Loss derived from self-supervised learning to encourage instance-level intra-class compactness and inter-class separability. To power the contrastive learning, LCGNN introduces a dynamic label memory bank and a momentum updated encoder. Our extensive evaluations with eight benchmark graph datasets demonstrate that LCGNN can outperform state-of-the-art graph classification models. Experimental results also verify that LCGNN can achieve competitive performance with less training data because LCGNN exploits label information comprehensively.

연구 동기 및 목표

• 그래프 분류에서 표준 분류 손실이 세밀한 인스턴스 수준의 분류 기능을 포착하는 데 한계가 있음을 해결하기 위해.
• 양성 쌍 선택에 레이블 정보를 통합함으로써 비지도 학습에서 지도 학습으로의 대비 학습을 확장하기 위해.
• 분류 손실과 레이블 대비 손실을 함께 최적화하여 모델 일반화 능력과 데이터 효율성을 향상시키기 위해.
• 대비 학습의 안정성을 높이고 그래프 표현 학습에서의 표현 일관성을 향상시키기 위해 동적 레이블 메모리 백과 모멘텀 업데이트된 인코더를 개발하기 위해.
• 인스턴스 수준과 클래스 수준에서 레이블 정보를 효과적으로 활용할 수 있도록 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• LCGNN는 동일한 레이블을 가진 모든 인스턴스를 다수의 양성 쌍으로 간주하는 레이블 대비 손실을 도입하여, 동일 클래스 내 응집도와 이질 클래스 간 분리도를 향상시킨다.
• 동적 레이블 메모리 백은 레이블이 부여된 그래프의 인코딩된 표현을 저장하여, 학습 단계 전반에 걸쳐 일관되고 확장 가능한 대비 학습을 가능하게 한다.
• 모멘텀 업데이트된 인코더는 대비 학습을 위한 타겟 표현을 생성하며, 학습 과정을 안정화하고 표현 일관성을 향상시킨다.
• 표준 크로스 엔트로피 분류 손실과 제안된 레이블 대비 손실을 함께 최적화하여, 클래스 분류 가능성과 인스턴스 수준의 특징 학습 간 균형을 맞춘다.
• 프레임워크는 엔드 투 엔드 학습을 지원하며, 대비 구성 요소가 직접적으로 최종 분류 목표와 정렬되도록 한다.
• 이 방법은 GIN과 같은 어떤 GNN 백본과도 호환되며, 표준 그래프 분류 벤치마크를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 표준 분류 손실을 넘어서 레이블 정보를 대비 학습에 효과적으로 활용하여 그래프 표현 품질을 향상시킬 수 있는가?
• RQ2 각 인스턴스를 고유한 클래스로 간주하는 표준 대비 학습과 비교해 레이블 대비 코드는 어떻게 다른가?
• RQ3 레이블 정보를 더 포괄적으로 활용함으로써 더 적은 레이블 데이터로도 더 높은 성능을 달성할 수 있는가?
• RQ4 대비 손실 가중치와 모멘텀과 같은 하이퍼파라미터가 모델 성능에 어떤 영향을 미치는가?
• RQ5 동적 메모리 백과 모멘텀 인코더 메커니즘이 그래프 대비 학습에서 학습 안정성과 표현 일관성 향상에 기여하는가?

주요 결과

• LCGNN는 여덟 개의 벤치마크 그래프 분류 데이터셋 중 일곱 개에서 최신 기술 수준의 성능을 달성하며, 기존 GNN들을 능가한다.
• IMDB-BINARY 데이터셋에서 LCGNN는 GIN 백본을 사용해 76.1%의 정확도를 기록하며, 베이스라인 GIN 모델을 능가한다.
• 학습 데이터를 60%로 줄였을 때도 LCGNN는 뛰어난 성능을 유지하지만, 베이스라인 GIN 모델은 이를 따라잡기 위해 70%의 데이터가 필요하다.
• 제거 분석 결과, 레이블 대비 코드가 InfoNCE 손실보다 성능 향상에 크게 기여하며, InfoNCE 손실은 베이스라인 GIN 모델조차도 뒤지지 않는 것으로 확인되었다.
• 최적의 대비 손실 가중치 β는 [0.5, 1.0] 범위 내에서 찾았으며, 성능은 β = 0.6–0.8 근처에서 최고에 이를 것으로 나타나, 인스턴스 수준과 클래스 수준의 학습 간 상호 보완적 트레이드오프가 존재함을 시사한다.
• 모멘텀 항은 성능에 미미한 영향을 미치며, 데이터셋 크기가 중간 수준일 경우 모멘텀 없이도 방법이 안정적임을 시사한다.