[논문 리뷰] Spectral Feature Augmentation for Graph Contrastive Learning and Beyond

Yifei Zhang, Hao Zhu외 3명|arXiv (Cornell University)|2022. 12. 02.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 스펙트럼 특징 증강(SFA)을 제안한다. SFA는 특징 맵 스펙트럼을 재균형화하고 단일 값에 노이즈를 주입하기 위해 불완전한 거듭제곱 반복을 사용하는 새로운이고 효율적인 그래프 대비 학습 방법이다. 부분적으로 균일화된 단일 값과 직교 기저를 유지함으로써 SFA는 덜 지배적인 특징의 정렬을 향상시켜 일반화 능력을 향상시키고, 노드 분류 및 클러스터링 작업에서 기존의 증강 전략을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Although augmentations (e.g., perturbation of graph edges, image crops) boost the efficiency of Contrastive Learning (CL), feature level augmentation is another plausible, complementary yet not well researched strategy. Thus, we present a novel spectral feature argumentation for contrastive learning on graphs (and images). To this end, for each data view, we estimate a low-rank approximation per feature map and subtract that approximation from the map to obtain its complement. This is achieved by the proposed herein incomplete power iteration, a non-standard power iteration regime which enjoys two valuable byproducts (under mere one or two iterations): (i) it partially balances spectrum of the feature map, and (ii) it injects the noise into rebalanced singular values of the feature map (spectral augmentation). For two views, we align these rebalanced feature maps as such an improved alignment step can focus more on less dominant singular values of matrices of both views, whereas the spectral augmentation does not affect the spectral angle alignment (singular vectors are not perturbed). We derive the analytical form for: (i) the incomplete power iteration to capture its spectrum-balancing effect, and (ii) the variance of singular values augmented implicitly by the noise. We also show that the spectral augmentation improves the generalization bound. Experiments on graph/image datasets show that our spectral feature augmentation outperforms baselines, and is complementary with other augmentation strategies and compatible with various contrastive losses.

연구 동기 및 목표

• 그래프와 이미지에 대한 대비 학습에서 효과적인 특징 수준의 증강이 부족한 문제를 해결하기 위해.
• 특징 맵의 스펙트럼을 균형 잡음으로써 표현 학습을 향상시키고, 덜 지배적인 단일 값에 초점을 맞추기 위해.
• 다양한 대비 손실 함수와 데이터 증강 전략과 호환되는 즉시 사용 가능한 방법을 개발하기 위해.
• 제안된 불완전한 거듭제곱 반복에서의 스펙트럼 균형 효과와 노이즈 주입을 이론적으로 분석하기 위해.
• 하류의 노드 수준 작업에서 향상된 일반화 능력과 성능을 입증하기 위해.

제안 방법

• 특징 맵의 저랭크 근사값을 추정하기 위해 단 한두 번의 반복만 사용하는 비표준적인 불완전한 거듭제곱 반복을 제안한다.
• 원본 특징 맵에서 저랭크 근사값을 빼서 보완 부분을 얻음으로써 스펙트럼을 효과적으로 재균형화한다.
• 불완전한 거듭제곱 반복의 확률적 성격을 통해 재균형화된 단일 값에 노이즈를 주입한다.
• 두 뷰의 단일 벡터를 동일한 강도로 정렬함으로써 주 단일 벡터의 지배를 피한다.
• 스펙트럼 균형 효과와 증강된 단일 값의 분산에 대한 해석적 형태를 유도한다.
• SFA를 GCL 파ip라인에 플러그인 레이어로 통합하여 InfoNCE와 Barlow Twin 대비 손실 함수와 호환되도록 한다.

실험 결과

연구 질문

• RQ1 불완전한 거듭제곱 반복를 통한 스펙트럼 특징 증강이 그래프 대비 학습에서 표현 학습을 향상시킬 수 있는가?
• RQ2 특징 맵의 스펙트럼을 재균형화하면 대비 학습에서 정규직교 기저의 정렬이 향상되는가?
• RQ3 단일 값에 주입된 노이즈가 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 기존의 데이터 증강 전략과 대비 손실 함수와 호환되는가?
• RQ5 불완전한 거듭제곱 반복의 스펙트럼 균형 효과의 이론적 메커니즘은 무엇인가?

주요 결과

• 스펙트럼 특징 증강은 다양한 그래프 및 이미지 데이터셋에서 노드 분류 및 클러스터링 벤치마크에서 기존의 기준 방법들을 능가한다.
• SFA는 InfoNCE와 Barlow Twin과 같은 표준 데이터 증강 전략과 대비 손실 함수와 조합했을 때 최신 기술 수준의 성능을 달성한다.
• 불완전한 거듭제곱 반복는 단 한두 번의 반복만으로도 특징 맵의 스펙트럼을 성공적으로 균형 잡으며, 덜 지배적인 단일 벡터의 정렬을 향상시킨다.
• 이론적 분석을 통해 방법이 단일 벡터를 유지하면서도 단일 값에 암묵적으로 노이즈를 주입함을 확인하였으며, 이는 의미 구조를 손상시키지 않은 채 스펙트럼 증강을 가능하게 한다.
• 스펙트럼 증강 덕분에 모델의 일반화 경계가 이론적으로 향상되었음을 유도 분석을 통해 입증하였다.
• 이 방법은 계산적으로 효율적이며 기존의 GNN 프레임워크에 거의 영향을 주지 않는 런타임 오버헤드로 즉시 사용 가능한 레이어로 원활하게 통합될 수 있다.