[논문 리뷰] Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift

Yongduo Sui, Wu, Qitian외 6명|arXiv (Cornell University)|2022. 11. 05.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 그래프 표현 학습에서의 공변량 이동을 극복하기 위해 안정적이고 환경적 특징을 명시적으로 모델링하는 새로운 그래프 데이터 증강 방법인 적대적 불변 증강(AIA)을 제안한다. 안정적 특징을 유지하면서 다양한 환경을 적대적으로 생성함으로써 AIA는 분포로 인한 안정성에 기반한 이론적 기반을 바탕으로 한 상태의 기술 성능을 여러 벤치마크에서 달성한다.

ABSTRACT

The issue of distribution shifts is emerging as a critical concern in graph representation learning. From the perspective of invariant learning and stable learning, a recently well-established paradigm for out-of-distribution generalization, stable features of the graph are assumed to causally determine labels, while environmental features tend to be unstable and can lead to the two primary types of distribution shifts. The correlation shift is often caused by the spurious correlation between environmental features and labels that differs between the training and test data; the covariate shift often stems from the presence of new environmental features in test data. However, most strategies, such as invariant learning or graph augmentation, typically struggle with limited training environments or perturbed stable features, thus exposing limitations in handling the problem of covariate shift. To address this challenge, we propose a simple-yet-effective data augmentation strategy, Adversarial Invariant Augmentation (AIA), to handle the covariate shift on graphs. Specifically, given the training data, AIA aims to extrapolate and generate new environments, while concurrently preserving the original stable features during the augmentation process. Such a design equips the graph classification model with an enhanced capability to identify stable features in new environments, thereby effectively tackling the covariate shift in data. Extensive experiments with in-depth empirical analysis demonstrate the superiority of our approach. The implementation codes are publicly available at https://github.com/yongduosui/AIA.

연구 동기 및 목표

• 학습 데이터에 존재하지 않는 테스트 데이터에서 새로운 환경적 특징을 포함하는 그래프 표현 학습에서의 공변량 이동 문제에 대응하기 위해.
• 그래프 데이터에서 안정적 특징과 환경적 특징을 명시적으로 분리하고 모델링하는 데이터 증강 전략을 개발하기 위해.
• 다양하고 제어 가능하며 환경적으로 구분된 증강 환경을 생성함으로써 분포 외 일반화를 향상시키기 위해.
• 환경적 특징의 이질성에 대한 측정 가능한 지표를 제공하고 이를 증강 과정을 안내하는 데 사용하기 위해.
• 분포 이동에 대한 안정성을 확보하기 위해 이론적으로 안정된 반경 ρ 내에서 일반화를 보장하기 위해.

제안 방법

• AIA는 이중 마스크 아키텍처를 사용한다: 하나의 마스크는 안정적 특징을 식별하고, 다른 하나는 그래프에서 환경적 특징을 분리한다.
• 일관성 손실을 통해 안정적 특징을 유지하면서 환경적 특징을 변형시켜 새로운 환경을 생성하는 적대적 증강기(adversarial augmenter)를 사용한다.
• 증강된 분포와 원래 분포 간의 환경적 특징 이질성을 명시적으로 측정하고 장려하기 위해 새로운 지표 GCS(𝑃̃,𝑃)를 최대화한다.
• 안정적 특징의 일관성은 충분성과 독립성 손실을 통해 강제로 보장되며, 이는 모델이 예측에 안정적 특징에 의존하도록 한다.
• 학습 프레임워크는 분포로 인한 안정성 최적화(DRO) 원칙에 따라 적대적 증강기와 GNN 기반 모델을 번갈아 최적화한다.
• AIA는 DRO에 이론적으로 기반하여, 테스트 환경이 알려져 있지 않은 IRM 기반 방법과 달리 안정된 반경 ρ 내에서 일반화를 보장한다.

실험 결과

연구 질문

• RQ1 안정적 특징과 환경적 특징을 명시적으로 분리하면 그래프 데이터에서 공변량 이동 조건 하에서 일반화 성능 향상에 기여하는가?
• RQ2 안정적 특징을 유지하면서 다양한, 새로운 환경적 특징을 갖는 증강 데이터를 어떻게 설계할 수 있는가?
• RQ3 환경적 특징의 이질성에 대한 측정 가능한 지표가 그래프 증강의 효과를 향상시키는 데 도움이 되는가?
• RQ4 안정적 특징 유지와 함께 적대적 증강을 통해 분포 외 일반화 성능이 기존 방법보다 향상되는가?
• RQ5 DRO 기반 학습 목표는 공변량 이동 조건 하에서 정의된 분포 반경 내에서 안정성을 확보하는 데 기여하는가?

주요 결과

• AIA는 공변량 이동 조건 하에서 여러 그래프 분류 벤치마크에서 기존의 불변 학습 및 데이터 증강 방법들을 능가하는 최신 기술 성능을 달성한다.
• 제안된 GCS(𝑃̃,𝑃) 지표는 환경적 특징 이질성을 효과적으로 측정하며, 일반화 성능 향상과 상관관계가 있다.
• 절단 실험 결과는 안정적 특징 유지와 환경적 변동의 명시적 모델링이 강건성에 핵심적임을 확인한다.
• AIA는 테스트 데이터에 훈련 중에 관찰되지 않은 완전히 새로운 환경적 특징이 포함된 경우에도 뛰어난 일반화 성능을 보여준다.
• 모든 데이터셋에서 일관된 성능 향상을 보이며, 분자 그래프 및 추천 시스템을 포함한 다양한 데이터셋에서 제어된 공변량 이동 설정 하에서도 유의미한 개선을 이룬다.
• 학습 과정은 더 복잡하지만, 낮은 분산을 보이며 안정적인 성능을 제공함으로써 이중 목표의 효과적인 최적화를 확인한다.