[논문 리뷰] Label-invariant Augmentation for Semi-Supervised Graph Classification

Yue Han, Chunhui Zhang외 2명|arXiv (Cornell University)|2022. 05. 19.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 기존 그래프 구조를 수정하지 않고 특성 공간에서 레이블 일관성을 유지하는 증강 표현을 생성하는 새로운 반감독 그래프 대비 학습 방법인 그래프 레이블-불변 증강(Graph Label-invariant Augmentation, GLA)을 제안한다. 가장 어려운(최악의 경우) 변형을 원래 레이블을 유지하도록 선택함으로써, 수작업으로 만든 그래프 증강이나 음성 쌍을 필요로 하지 않으면서도 모델의 일반화 성능을 향상시킨다. 이는 여덟 개인 벤치마크 데이터셋에서 기존 GNN 및 대비 학습 방법들을 능가한다.

ABSTRACT

Recently, contrastiveness-based augmentation surges a new climax in the computer vision domain, where some operations, including rotation, crop, and flip, combined with dedicated algorithms, dramatically increase the model generalization and robustness. Following this trend, some pioneering attempts employ the similar idea to graph data. Nevertheless, unlike images, it is much more difficult to design reasonable augmentations without changing the nature of graphs. Although exciting, the current graph contrastive learning does not achieve as promising performance as visual contrastive learning. We conjecture the current performance of graph contrastive learning might be limited by the violation of the label-invariant augmentation assumption. In light of this, we propose a label-invariant augmentation for graph-structured data to address this challenge. Different from the node/edge modification and subgraph extraction, we conduct the augmentation in the representation space and generate the augmented samples in the most difficult direction while keeping the label of augmented data the same as the original samples. In the semi-supervised scenario, we demonstrate our proposed method outperforms the classical graph neural network based methods and recent graph contrastive learning on eight benchmark graph-structured data, followed by several in-depth experiments to further explore the label-invariant augmentation in several aspects.

연구 동기 및 목표

• 수작업으로 만든, 잠재적으로 레이블 위반을 일으킬 수 있는 그래프 증강에 의존하는 현재의 그래프 대비 학습 방법의 한계를 해결하기 위해.
• 하류 분류 목표를 증강 과정에 통합하여 반감독 그래프 분류에서 모델의 일반화 성능을 향상시키기 위해.
• 대비 학습에서 음성 쌍이 필요 없도록 하여, 하류 작업에서 성능 저하를 유발할 수 있는 요소를 제거하기 위해.
• 원래 그래프 구조를 수정하지 않고도 표현 공간에서 효과적인 증강을 달성할 수 있음을 입증하기 위해.
• 표현 공간에서의 레이블-불변 증강이 원본 그래프 증강 또는 사후 필터링보다 더 높은 성능을 낼 수 있음을 검증하기 위해.

제안 방법

• GLA는 원본 그래프 구조가 아닌 학습된 표현 공간에서 데이터 증강을 수행한다.
• 그래프 수준의 표현에 크기 하이퍼파ram터 η로 스케일된 무작위 단위 벡터를 더하여 후보 변형을 생성한다.
• 원래 클래스 레이블을 유지하는 변형(즉, 예측 신뢰도를 유지하는) 것만 유효한 것으로 간주하여 레이블-불변 성질을 강제한다.
• 유효한 후보들 중에서 모델의 손실를 최대화하는, 즉 분류기에 가장 어려운(최악의 경우) 샘플을 선택한다.
• 증강 과정에서 하류 분류기를 사용하여 레이블 불변성 여부를 검증함으로써 사전 학습과 미세조정을 통합한다.
• 설계상 음성 쌍을 피함으로써, 최근의 연구 결과와 일치하여 음성 쌍이 대비 학습에서 성능을 해칠 수 있음을 반영한다.

실험 결과

연구 질문

• RQ1 표현 공간에서의 레이블-불변 증강이 전통적인 그래프 증강을 초월하여 반감독 그래프 분류 성능을 향상시킬 수 있는가?
• RQ2 대비 학습에서 음성 쌍을 제거하면, 레이블-불변 증강과 결합했을 때 하류 성능이 향상되는가?
• RQ3 표현 공간 증강과 원본 그래프 공간 증강 간의 강건성과 일반화 능력에서의 성능 비교는 어떠한가?
• RQ4 가장 어려운 증강(최악의 경우)을 선택하는 것과 무작위 또는 가장 쉬운 증강을 선택하는 것의 영향은 어떠한가?
• RQ5 도메인 전용 지식 없이도 경량의 비이중 최적화 전략이 어려운 레이블 일관성 샘플을 효과적으로 생성할 수 있는가?

주요 결과

• GLA는 반감독 설정 하에서 여덟 개의 벤치마크 그래프 데이터셋에서 고전적 GNN 및 최근의 그래프 대비 학습 방법들을 능가한다.
• 음성 쌍이 포함될 경우 GLA의 성능이 크게 떨어지며, 이는 음성 쌍이 이 설정에서 해로울 수 있음을 확인하며 최근의 시각 대비 학습 연구 결과와 일치한다.
• η = 1일 때 강력한 일반화 성능을 보이며, GLA(η = 1)는 GraphCL+Label-Invariant를 능가함으로써 표현 공간 증강의 우수성을 입증한다.
• 유효한 후보들 중에서 가장 어려운 증강을 선택할 경우, 랜덤 또는 가장 쉬운 증강보다 성능 향상이著명하여 최악의 경우 샘플링의 유용성을 입증한다.
• 레이블-불변 성질은 GLA 뿐 아니라 다른 대비 학습 방법에 사후 적용했을 때도 성능 향상을 이끌어내어 일반화 가능성을 보여준다.
• 표현 공간 증강은 새로운 그래프를 생성하지 않으면서도 효과적이고 레이블 일관성 있는 데이터 증강을 가능하게 하여 도메인 전용 증강 설계에 대한 의존도를 감소시킨다.