[논문 리뷰] Adversarial Graph Augmentation to Improve Graph Contrastive Learning

Susheel Suresh, Li Pan외 2명|arXiv (Cornell University)|2021. 06. 10.

Advanced Graph Neural Networks참고 문헌 80인용 수 141

한 줄 요약

AD-GCL은 그래프 대비 학습에서 중복 정보를 제거하고 다운스트림 성능을 향상시키는 학습 가능한 적대적 그래프 데이터 증강 전략을 도입합니다.

ABSTRACT

Self-supervised learning of graph neural networks (GNN) is in great need because of the widespread label scarcity issue in real-world graph/network data. Graph contrastive learning (GCL), by training GNNs to maximize the correspondence between the representations of the same graph in its different augmented forms, may yield robust and transferable GNNs even without using labels. However, GNNs trained by traditional GCL often risk capturing redundant graph features and thus may be brittle and provide sub-par performance in downstream tasks. Here, we propose a novel principle, termed adversarial-GCL (AD-GCL), which enables GNNs to avoid capturing redundant information during the training by optimizing adversarial graph augmentation strategies used in GCL. We pair AD-GCL with theoretical explanations and design a practical instantiation based on trainable edge-dropping graph augmentation. We experimentally validate AD-GCL by comparing with the state-of-the-art GCL methods and achieve performance gains of up-to $14\%$ in unsupervised, $6\%$ in transfer, and $3\%$ in semi-supervised learning settings overall with 18 different benchmark datasets for the tasks of molecule property regression and classification, and social network classification.

연구 동기 및 목표

• 레이블 부족 현상을 해결하기 위한 자기지도 그래프 표현 학습을 촉진한다.
• 학습 가능한 증강 전략과 함께 그래프 인코더를 짝짓는 원리적인 AD-GCL 프레임워크를 개발한다.
• 적대적 증강이 태스크 관련 정보를 한정하는 동시에 중복 정보를 줄일 수 있는 방식에 대해 이론적으로 정당화한다.
• 분자 및 소셜 네트워크 작업과 관련해 18개 데이터셋에서 비지도, 전이, 반지도 설정으로 AD-GCL을 실험적으로 검증한다.

제안 방법

• min over augmentations T in a family T and max over encoder f of I(f(G);f(t(G))).
• 학습 가능한 엣지 드롭을 통해 T를 구체화하며, 각 엣지 e의 드롭 확률 ω_e는 GNN 증강자에 의해 결정된다.
• 훈련 중 엣지 드롭을 샘플링하기 위해 GNN으로 ω_e를 매개화하고 Gumbel-softmax 이완을 사용한다.
• 그래프당 평균 드롭 확률을 페널티하여 증강의 과도한 교란을 피하도록 규제한다.
• 목표를 최적화하기 위해 미니배치에서 InfoNCE로 상호정보를 추정한다.
• 정보 병목 원리와 1-WL 표현성에 AD-GCL을 연결하는 이론적 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 그래프 대비 학습에서 적대적으로 학습된 증강이 고정되거나 수동으로 설계된 증강보다 우수한 성능을 보일 수 있는가?
• RQ2 증강 전략을 최적화하는 것이 그래프 인코더가 포착한 태스크 관련 정보와 중복 정보의 양에 어떤 영향을 미치는가?
• RQ3 AD-GCL은 다운스트림 라벨에 접근하지 못하더라도 그래프 표현의 강건성과 전이 가능성을 향상시키는가?
• RQ4 증강 검색 공간에 대한 규제(lambda_reg)이 다운스트림 성능에 미치는 영향은 무엇인가?

주요 결과

• AD-GCL은 18개 데이터셋에서 비지도, 전이 및 반지도 설정 전반에 걸쳐 최첨단 기준선보다 주목할 만한 이득을 달성한다.
• 비지도 태스크에서 AD-GCL은 기준선에 비해 성능을 최대 14%까지 향상시킨다.
• 전이 및 반지도 태스크에서 AD-GCL은 각각 약 6% 내외 및 3% 내외의 일관된 개선을 보인다.
• AD-GCL에 의해 학습된 엣지 드롭 증강은 비적대적(무작위) 엣지 드롭 및 미리 정의된 증강 전략보다 우수하다.
• 증강 검색 공간의 규제(lambda_reg)이 유익하며, OPT 변형은 데이터셋 전반에 걸쳐 견고성을 제공할 수 있다.
• 학습된 입력-그래프 의존 증강은 다운스트림 작업과 관련된 정보를 유지하면서 중복 정보를 줄여 정보 병목 직관과 일치한다.