[논문 리뷰] Certifiably Robust Graph Contrastive Learning

Minhua Lin, Teng Xiao외 3명|arXiv (Cornell University)|2023. 10. 05.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 잠재 공간 내의 의미적 유사도를 바탕으로 한 통합된 강건성 기준을 도입하고, 랜덤화된 엣지 드롭 노이즈를 도입하여 증명 가능한 강건성을 보장함으로써, 그래프 대비 학습(GCL)을 위한 첫 번째 인증 가능한 강건한 프레임워크인 RES(Randomized Edgedrop Smoothing)를 제안한다. 10개 이하의 추가 엣지가 허용되는 구조적 공격 하에서 OGB-arxiv에서 43.96%의 인증된 정확도를 달성하며, 기존 베이스라인을 능가하고, 하류 작업으로의 이식 가능한 강건성을 입증한다.

ABSTRACT

Graph Contrastive Learning (GCL) has emerged as a popular unsupervised graph representation learning method. However, it has been shown that GCL is vulnerable to adversarial attacks on both the graph structure and node attributes. Although empirical approaches have been proposed to enhance the robustness of GCL, the certifiable robustness of GCL is still remain unexplored. In this paper, we develop the first certifiably robust framework in GCL. Specifically, we first propose a unified criteria to evaluate and certify the robustness of GCL. We then introduce a novel technique, RES (Randomized Edgedrop Smoothing), to ensure certifiable robustness for any GCL model, and this certified robustness can be provably preserved in downstream tasks. Furthermore, an effective training method is proposed for robust GCL. Extensive experiments on real-world datasets demonstrate the effectiveness of our proposed method in providing effective certifiable robustness and enhancing the robustness of any GCL model. The source code of RES is available at https://github.com/ventr1c/RES-GCL.

연구 동기 및 목표

• 비지도 그래프 대비 학습(GCL)에서 아직도 구조적 공격 및 속성 기반 공격에 취약한 인증 가능한 강건성의 부재를 해결하기 위해.
• 잠재 표현 공간 내의 의미적 유사도를 기반으로 한 통합된, 레이블이 없는 GCL 강건성 평가 기준을 개발하기 위해.
• 레이블에 의존하지 않거나 데이터 증강 중에 과도한 노이즈 엣지를 도입하지 않으면서도 GCL 모델에 대한 증명 가능한 강건성 인증을 가능하게 하기 위해.
• GCL에서의 인증 가능한 강건성이 하류 작업에서의 강건한 성능으로 이어지는지 이론적 및 실증적 검증을 통해 보장하기 위해.
• GCL 사전학습 기간 동안 랜덤화된 엣지 드롭 노이즈를 통합하여 강건성을 향상시키는 효과적인 학습 방법을 설계하기 위해.

제안 방법

• 잠재 공간 내에서 노드 또는 그래프 표현 간의 의미적 유사도를 기반으로 한 통합된 강건성 기준을 제안하여, 레이블 없이도 일관된 평가가 가능하도록 한다.
• 랜덤화된 엣지 드롭 스무딩(RES)을 도입하여, 추론 중에 엣지를 확률적으로 제거함으로써 스무딩된 예측을 생성하고, 증명 가능한 강건성을 확보한다.
• 퍼티urbed 상태 하에서의 예측 확률 범위를 추정하기 위해 μ개의 몬테카를로 샘플링을 활용하며, 이는 정리 2를 통해 인증이 가능하다.
• 사전학습 기간 동안 랜덤화된 엣지 드롭 노이즈를 통합하여 강건성을 향상시키는 학습 방법을 설계함으로써, 모델의 공격에 대한 저항력을 강화한다.
• 강건성 인증 임계값을 제어하기 위해 신뢰 수준(1−α)을 사용하며, 높은 값은 더 느슨하지만 더 신뢰할 수 있는 범위를 제공한다.
• 기본 GCL 모델로 GRACE를 적용하여, 인증 가능한 강건성이 하류 작업으로 이식될 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 그래프 대비 학습(GCL)에 대해 일관된 강건성 평가가 가능한 통합된, 레이블이 없는 강건성 기준을 정의할 수 있는가?
• RQ2 과도한 가짜 엣지를 도입하지 않으면서도, 랜덤화된 엣지 드롭 스무딩이 GCL 모델에 대해 증명 가능한 강건성 인증을 제공할 수 있는가?
• RQ3 GCL에서의 인증 가능한 강건성이 하류 분류 작업에서의 강건한 성능으로 이어지는가?
• RQ4 제안된 RES 방법은 순수한 랜덤화 스무딩과 비교해 강건성과 하류 성능 측면에서 어떻게 성능을 내는가?
• RQ5 주요 하이퍼파라미터(μ, β, 1−α)가 RES 프레임워크의 인증 정확도와 강건성에 미치는 영향은 무엇인가?

주요 결과

• 공격자 예산이 10개의 추가 엣지인 조건에서 OGB-arxiv 데이터셋에서 RES는 43.96%의 인증 정확도를 달성하며, 기존 베이스라인을 크게 능가한다.
• Cora와 Pubmed에서 깨끗한 그래프와 노이즈가 있는 그래프 양쪽 모두에서, 이중 랜덤 노이즈를 사용하는 FLIP 및 FLIP/T와 비교해 RES는 강건성과 표현 품질 측면에서 뚜렷한 우월성을 입증한다.
• 몬테카를로 샘플 수(μ)를 늘일수록 인증 정확도가 향상되며, 이는 더 좁은 확률 범위로 인해 더 큰 인증 허용 오차 반경이 가능하기 때문이다.
• 높은 신뢰 수준(1−α)은 확률 범위가 더 느슨해져서 인증 조건을 충족하는 노드 수가 줄어들기 때문에 약간의 인증 정확도 감소를 초래한다.
• 도입된 엣지 드롭 노이즈를 통한 제안된 학습 방법은 Nettack과 같은 구조적 공격 하에서도 강건성 정확도 향상을 통해 GCL 모델의 강건성이 향상됨을 입증한다.
• 이론적 분석을 통해 RES로 훈련된 인코더의 강건성이 하류 작업에서도 증명 가능하게 유지됨을 확인하였으며, 비지도 GCL과 하류 강건성 간 격차를 메우는 데 기여한다.