[논문 리뷰] Spectral Augmentation for Self-Supervised Learning on Graphs

Lu Lin, Jinghui Chen외 1명|arXiv (Cornell University)|2022. 10. 02.

Advanced Graph Neural Networks인용 수 16

한 줄 요약

이 논문은 그래프 대비 학습을 위한 스펙트럼 증강(Spectral Augmentation for Graph Contrastive Learning, SPAN)을 제안한다. 이는 그래프 라플라시안의 스펙트럼 변화를 최대화하도록 위계적 증강을 이끌어내는 원리적인 방법으로, 스펙트럼 민감도가 높은 엣지에 초점을 맞춰 그래프 표현 학습의 정확도를 향상시킨다. SPAN은 엣지의 변형이 그래프 스펙트럼에 가장 크게 영향을 주는 엣지를 식별함으로써, 노드 및 그래프 분류 작업 전반에서 모델의 강건성, 일반화 능력 및 성능을 향상시키며, 무작위 균일 증강 기반선보다도 비지도 학습, 전이 학습, 적대적 학습 환경에서 모두 뛰어난 성능을 보인다.

ABSTRACT

Graph contrastive learning (GCL), as an emerging self-supervised learning technique on graphs, aims to learn representations via instance discrimination. Its performance heavily relies on graph augmentation to reflect invariant patterns that are robust to small perturbations; yet it still remains unclear about what graph invariance GCL should capture. Recent studies mainly perform topology augmentations in a uniformly random manner in the spatial domain, ignoring its influence on the intrinsic structural properties embedded in the spectral domain. In this work, we aim to find a principled way for topology augmentations by exploring the invariance of graphs from the spectral perspective. We develop spectral augmentation which guides topology augmentations by maximizing the spectral change. Extensive experiments on both graph and node classification tasks demonstrate the effectiveness of our method in self-supervised representation learning. The proposed method also brings promising generalization capability in transfer learning, and is equipped with intriguing robustness property under adversarial attacks. Our study sheds light on a general principle for graph topology augmentation.

연구 동기 및 목표

• 기존 그래프 위계적 증강 기법들이 스펙트럼 민감도를 고려하지 않고 균일한 무작위 변형을 사용함으로써 원리적인 설계의 부족함을 해결하고자 한다.
• 큰 스펙트럼 변화를 유도하는 변형에 대해 강건한 스펙트럼 불변성(spectral invariance)을 유지하는 것이 자기지도 그래프 표현 학습을 향상시킬 수 있는지 탐구하고자 한다.
• 스펙트럼 민감도가 높은 엣지를 체계적으로 식별하고 이를 증강을 이끄는 데 활용함으로써 모델의 일반화 능력과 강건성을 향상시키는 방법을 개발하고자 한다.
• 제안된 스펙트럼 원칙을 엣지 변형을 넘어서 노드 제거와 같은 다른 증강 유형으로 확장하여 광범위한 적용 가능성을 입증하고자 한다.

제안 방법

• 위계적 증강을 원래 그래프 라플라시안과 변형된 그래프 라플라시안 간의 스펙트럼 차이의 L2-노름을 최대화하는 최적화 문제로 공식화한다.
• 변형된 엣지의 확률을 계산하기 위해 스펙트럼 최적화 목표를 해결한다: ||eig(Lap(A + C ∘ Δ)) − eig(Lap(A))||²₂를 최대화하며, 여기서 Δ는 엣지 변형을 나타낸다.
• 변형 강도를 유지하기 위해 예산 ε로 제약을 두어, 최소한의 엣지만이 수정되도록 한다.
• 최종적으로 도출된 변형 확률 행렬 C는 스펙트럼 변화가 큰 엣지에 높은 확률을 할당하여 확률적 방식으로 증강된 뷰를 샘플링하는 데 사용된다.
• 노드 제거로의 확장을 위해 스펙트럼 민감도에서 유도된 노드 제거 확률 벡터 p를 도출하며, 대칭적 엣지 제거 행렬 P를 사용한다.
• 이 방법은 어떤 GCL 프레임워크와도 호환되며, 변형 확률 계산을 한 번만 사전 계산하면 된다.

실험 결과

연구 질문

• RQ1 엣지의 스펙트럼 민감도를 활용하여 자기지도 학습에서 더 효과적인 그래프 증강을 이끌 수 있는가?
• RQ2 증강 과정에서 스펙트럼 변화를 최대화하면 더 강건하고 일반화 능력이 뛰어난 표현을 얻을 수 있는가?
• RQ3 다양한 그래프 학습 작업에서 스펙트럼 지도 증강이 균일한 무작위 증강과 비교해 성능가능성은 어떠한가?
• RQ4 스펙트럼 불변성 원칙은 노드 제거와 같은 다른 증강 유형으로 일반화될 수 있는가?
• RQ5 제안된 방법은 적대적 공격 및 전이 학습 환경에서 강건성을 향상시키는가?

주요 결과

• SPAN은 Cora, PubMed, Wiki-CS에서 균일한 무작위 증강 기반선보다 뚜렷한 성능 향상을 보이며, 노드 분류 작업에서 최고 성능을 기록했다.
• 그래프 분류 벤치마크에서 스펙트럼 지도 엣지 제거는 NCI1에서 0.46% 향상되고 PROTEINS에서 1.11% 향상되었으며, 균일한 무작위 제거보다 우수한 성능을 보였다.
• 적대적 공격 하에서의 강건성 테스트에서 SPAN은 변형이 가해진 상황에서도 베이스라인보다 높은 성능을 유지하며 강건성을 입증했다.
• 전이 학습 실험에서는 SPAN으로 사전 학습된 모델이 다운스트림 작업으로의 일반화 능력이 더 뛰어나, 무작위 증강으로 학습한 모델보다 뛰어난 성능을 보였다.
• 정규화된 스펙트럼 변화 지표는 최적화가 평균 15%까지 스펙트럼 노름(L2-노름의 고유값)을 증가시켜 스펙트럼 타겟팅 메커니즘의 타당성을 확인했다.
• 노드 제거로의 확장은 일관된 성능 향상을 보였으며, PROTEINS에서 1.11% 향상되고 IMDB-M에서 0.73% 향상되어 방법의 일반화 가능성에 대한 확인을 얻었다.