[논문 리뷰] Towards Robust Graph Contrastive Learning

Nikola Jovanović, Meng Zhao외 2명|arXiv (Cornell University)|2021. 02. 25.

Advanced Graph Neural Networks참고 문헌 38인용 수 27

한 줄 요약

이 논문은 그래프 대비 학습(self-supervised)에서 GROC를 소개합니다, 확률적 변환과 gradient 신호에 의해 지도된 adversarial edge 제거 및 삽입을 결합하여 적대적 로버스트니스를 향상시키는 자기-지도 그래프 대비 학습 방법.

ABSTRACT

We study the problem of adversarially robust self-supervised learning on graphs. In the contrastive learning framework, we introduce a new method that increases the adversarial robustness of the learned representations through i) adversarial transformations and ii) transformations that not only remove but also insert edges. We evaluate the learned representations in a preliminary set of experiments, obtaining promising results. We believe this work takes an important step towards incorporating robustness as a viable auxiliary task in graph contrastive learning.

연구 동기 및 목표

• 그래프 대비 학습에서 자가 지도 표현 학습을 위한 강인성(robustness)을 보조 목표로 삼는 동기 부여.
• 완전한 자체 지도 알고리즘을 개발하여 그래프에 대한 적대적扰perturbations에 대한 강인성을 향상시키면서 깨끗한 데이터에서의 성능을 유지하는 것.
• 새로운 변환 파이프라인을 제안하여 확률적 마스킹과 gradient 정보를 이용한 엣지 제거/삽입을 결합해 강인한 뷰를 생성하는 것.
• 표준 그래프 벤치마크에서 적대적 교란 하에 방법을 평가하고 기존 대비 방법들과 비교하는 것

제안 방법

• GROC(Graph Robust Contrastive Learning)를 그래프 대비 학습에 기반한 두 개의 그래프 뷰를 사용하여 구축한다.
• 두 단계의 뷰 구성: 확률적 특징 마스킹에 이어 gradient 신호에 의해 안내된 적대적 엣지 편집.
• 앵커 노드 임베딩 간의 대조 손실을 두 뷰에서 계산하고 다른 노드의 음수 샘플로부터의 샘플링.
• 적대적 단계에서 최소 기울기 영향의 엣지를 제거하고 최대 기울기 영향의 엣지를 선별 후보 집합에서 삽입.
• 엣지 편집 중 로컬 이웃에 집중하고 음의 샘플 수를 제한하기 위해 무작위 배치에서 노드를 처리.
• 배치별 대조 손실을 최소화하도록 인코더 매개변수를 경사 하강법으로 최적화

실험 결과

연구 질문

• RQ1 대조 학습 중의 적대적 변환이 그래프 교란에 대한 그래프 표현의 강인성을 향상시킬 수 있는가?
• RQ2 gradient-guided 엣지 제거 및 삽입이 무작위 교란에 비해 robust views를 생성하는 데 이점을 제공하는가?
• RQ3 GROC가 표준 정확도 대비 강인한 정확도에서 대상 그래프 공격하에서 어떤 성능을 보이는가?
• RQ4 GROC가 표준 벤치마크에서 깨끗한 조건과 공격된 조건에서 기존 그래프 자체 지도 방법(GRACE, GCA)과 경쟁력이 있는가?

주요 결과

• GROC는 적대적 변환을 그래프 대비 학습에 통합하는 최초의 프레임워크로 제안된다.
• 전이 가능한 노드 분류 데이터셋에서의 예비 실험은 깨끗한 데이터의 성능을 유지하면서 적대적 공격하에서 강인성 향상을 보인다.
• GROC는 GRACE, GCA 및 GRACE의 gradient-강화 변형을 대상으로 Nettack 스타일의 교란 모델을 사용하여 평가되었다.
• 실험은 표준 데이터셋(Cora, Citeseer, Pubmed, AmazonPhoto, WikiCS)에서 2-layer GCN 인코더와 선형 평가 프로토콜을 사용했다.
• 이 방법은 확률적 마스킹, gradient-guided 엣지 제거, 그리고 엣지 삽입을 결합하여 대비 학습을 위한 강인한 뷰를 형성한다.