[논문 리뷰] Graph Contrastive Learning Automated

Yuning You, Tianlong Chen외 2명|arXiv (Cornell University)|2021. 06. 10.

Advanced Graph Neural Networks인용 수 93

한 줄 요약

JOAO는 그래프 대조학습을 위한 데이터 증강을 자동으로 선택하는 이중 최적화 프레임워크를 도입하여 GraphCL의 새로운 그래프에 대한 적응을 자동적이고 적응적이며 동적으로 만듭니다; JOAOv2는 견고성 향상을 위한 증강 인지 프로젝션 헤드를 추가합니다.

ABSTRACT

Self-supervised learning on graph-structured data has drawn recent interest for learning generalizable, transferable and robust representations from unlabeled graphs. Among many, graph contrastive learning (GraphCL) has emerged with promising representation learning performance. Unfortunately, unlike its counterpart on image data, the effectiveness of GraphCL hinges on ad-hoc data augmentations, which have to be manually picked per dataset, by either rules of thumb or trial-and-errors, owing to the diverse nature of graph data. That significantly limits the more general applicability of GraphCL. Aiming to fill in this crucial gap, this paper proposes a unified bi-level optimization framework to automatically, adaptively and dynamically select data augmentations when performing GraphCL on specific graph data. The general framework, dubbed JOint Augmentation Optimization (JOAO), is instantiated as min-max optimization. The selections of augmentations made by JOAO are shown to be in general aligned with previous "best practices" observed from handcrafted tuning: yet now being automated, more flexible and versatile. Moreover, we propose a new augmentation-aware projection head mechanism, which will route output features through different projection heads corresponding to different augmentations chosen at each training step. Extensive experiments demonstrate that JOAO performs on par with or sometimes better than the state-of-the-art competitors including GraphCL, on multiple graph datasets of various scales and types, yet without resorting to any laborious dataset-specific tuning on augmentation selection. We release the code at https://github.com/Shen-Lab/GraphCL_Automated.

연구 동기 및 목표

• 그래프 이질성으로 인한 그래프 데이터셋별 자동 증강 선택의 필요성을 그래프 대조 학습에서 제시한다.
• GraphCL용으로 자동적이고 적응적으로 증강 쌍을 선택하기 위한 통합 이중 최적화 프레임워크 JOAO를 제안한다.
• 다양한 데이터셋에서 수동 증강 조정된 최첨단 GraphCL과 비견되거나 이를 능가하는 JOAO의 성능을 보인다.
• 증강 인지 프로젝션 헤드를 도입하여 동적 증강으로 인한 분포 이동을 완화한다.
• JOAO의 선택이 사전에 관찰된 최적의 관행과 일치하는 것을 보이면서 라벨이 달린 검증 데이터의 필요성을 제거한다.

제안 방법

• 상위 수준은 GraphCL 손실을 최소화하고 하위 수준은 증강 쌍 분포를 최적화하도록 이중 최적화로 JOAO를 정식화한다.
• 다양한 증강을 장려하기 위해 사전분포를 갖는 최소-최대 문제로 JOAO를 구현하고, 사전으로부터의 편차를 제어하는 거리 항을 도입한다.
• 네트워크 매개변수 업데이트와 증강 분포 업데이트를 번갈아가며 수행하는 그래디언트 하강법으로 해결한다.
• 훈련 중 특징을 적절히 라우팅하기 위해 각 증강 유형마다 하나의 프로젝션 헤드를 갖는 새로운 증강 인지 프로젝션 헤드 메커니즘을 도입한다.
• 증강 인지 헤드를 JOAO 목적 함수에 통합하여 JOAO의 최적화 구조를 유지하되 다양한 증강으로 인한 왜곡에 대한 강건성을 향상시키며 JOAOv2를 제공한다.

실험 결과

연구 질문

• RQ1 라벨이 달린 검증 데이터 없이도 JOAO가 GraphCL에 대해 효과적인 증강 정책을 자동으로 발견할 수 있는가?
• RQ2 다양한 그래프 데이터 세트에서 수동으로 튜닝된 GraphCL 및 휴리스틱 방법과 비교해 JOAO와 JOAOv2가 비슷하거나 더 나은 성능을 달성하는가?
• RQ3 JOAO가 생산한 증강 선택이 수작업 튜닝에서 관찰된 알려진 최선의 관행과 일치하는가?
• RQ4 학습 중 동적 증강으로 인해 발생하는 분포 이동을 증강 인지 프로젝션 헤드가 완화하는가?
• RQ5 JOAO 프레임워크가 GraphCL 외의 다른 그래프 자가지도 학습 프레임워크에 적용 가능하는가?

주요 결과

• JOAO는 데이터셋별 증강 튜닝 없이도 여러 그래프 데이터셋에서 최첨단 방법과 비슷하거나 더 나은 성능을 달성한다.
• JOAO의 선택은 일반적으로 이전의 최선의 관행과 일치하여 합리적인 자동 증강 선택을 시사한다.
• 특정 데이터셋과 증강 강도에서 증강 인지 프로젝션 헤드를 갖춘 JOAOv2가 JOAO보다 추가적으로 개선된다.
• 이 프레임워크는 유연하며 GraphCL에 국한되지 않아 다른 그래프 대조 학습 방법과의 통합을 가능하게 한다.
• JOAO는 자동 증강 최적화가 라벨이 달린 다운스트림 검증 없이도 다양한 그래프 데이터에 확장될 수 있음을 보여준다.