[논문 리뷰] From Canonical Correlation Analysis to Self-supervised Graph Neural Networks

Hengrui Zhang, Qitian Wu외 3명|arXiv (Cornell University)|2021. 06. 23.

Advanced Graph Neural Networks인용 수 96

한 줄 요약

CCA-SSG는 비대칭 대비가 필요 없는 특징 수준의 자기지도 학습 목표를 도입하여 두 증강 뷰를 정준 상관관계로 정렬하면서 특징 차원을 상관 제거하고 MI 추정기나 음수 샘플 없이도 여러 노드 분류 벤치마크에서 최첨단에 근접하거나 이를 능가합니다.

ABSTRACT

We introduce a conceptually simple yet effective model for self-supervised representation learning with graph data. It follows the previous methods that generate two views of an input graph through data augmentation. However, unlike contrastive methods that focus on instance-level discrimination, we optimize an innovative feature-level objective inspired by classical Canonical Correlation Analysis. Compared with other works, our approach requires none of the parameterized mutual information estimator, additional projector, asymmetric structures, and most importantly, negative samples which can be costly. We show that the new objective essentially 1) aims at discarding augmentation-variant information by learning invariant representations, and 2) can prevent degenerated solutions by decorrelating features in different dimensions. Our theoretical analysis further provides an understanding for the new objective which can be equivalently seen as an instantiation of the Information Bottleneck Principle under the self-supervised setting. Despite its simplicity, our method performs competitively on seven public graph datasets. The code is available at: https://github.com/hengruizhang98/CCA-SSG.

연구 동기 및 목표

• 그래프에 대해 복잡한 대조 설계와 음수 샘플을 피하고 간단한 SSL 접근 방식을 모티브로 삼는다.
• 그래프 표현을 위한 정준상관관계 분석(Canonical Correlation Analysis inspired) 기반의 자기지도 목표를 제안한다.
• 특징 차원의 상관 해소가 차원 붕괴를 예방하고 정보 병목(Information Bottleneck) 원리와 연결될 수 있음을 보인다.
• 여러 그래프 데이터셋에 걸친 이론적 통찰과 실험적 근거를 제공한다.

제안 방법

• 동일 입력 그래프의 두 증강 뷰를 랜덤 그래프 증강으로 생성한다.
• 두 뷰에 대해 공유된 GNN 인코더를 사용해 임베딩을 얻는다.
• 임베딩을 정규화하고 뷰 간 불변 손실을 계산한다.
• 교차 뷰 특징 공분산을 항등 행렬로 가깝게 만드는 상관 제거 손실을 추가한다.
• 불변 항과 상관 제거 항의 합을 λ로 트레이드오프하여 최적화한다.
• SSL 설정에서 접근 방식을 정보 병목과 연결지을 수 있다면 선택적으로 연결한다.

실험 결과

연구 질문

• RQ1 비대조(non-contrastive) 특징 수준의 목표가 그래프의 대조 SSL 방법보다 더 우수한 성능을 낼 수 있는가?
• RQ2 특징 차원을 상관 제거하면 그래프 SSL의 붕괴를 예방하고 표현 품질을 개선하는가?
• RQ3 CCA-SSG가 자기지도 그래프 설정에서 정보 병목 원리와 어떤 관련성을 가지는가?
• RQ4 기존 SSL 방법과 비교했을 때 표준 노드 분류 벤치마크에서 CCA-SSG의 실험적 성능은 어떠한가?

주요 결과

• CCA-SSG는 일곱 개의 노드 분류 벤치마크에서 경쟁력 있거나 우수한 정확도를 달성하며, 여러 데이터셋에서 여러 베이스라인을 능가한다.
• 이 방법은 음의 샘플도, 매개변수화된 상호정보(I) 추정기, 프로젝터/프리딕터, 비대칭 아키텍처가 필요 없다.
• 불변 항은 증강 불변 정보를 보존하고, 상관 제거 항은 특징 차원을 상관 제거하여 차원 붕괴를 방지한다.
• 이 목표가 자기지도 학습하의 정보 병목 원리의 구현으로 해석될 수 있음을 이론적으로 보인다.
• 소거 연구에서 불변성과 상관 제거가 모두 중요하며, 상관 제거는 붕괴를 방지하고 불변은 성능을 주도한다.
• 임베딩 차원 및 하이퍼파라미터 λ가 성능에 영향을 주며, 더 큰 D가 일정 지점까지 도움이 되고 적절한 λ가 두 항을 균형 잡는다.