[논문 리뷰] Certifiable Robustness to Graph Perturbations

Aleksandar Bojchevski, Stephan Günnemann|arXiv (Cornell University)|2019. 10. 31.

Adversarial Robustness in Machine Learning인용 수 52

한 줄 요약

논문은 PageRank 기반 인증서를 사용하고 강건한 학습을 통해 그래프 교란에 적용 가능한 그래프 신경망 및 라벨/특성 전파의 인증 가능한 강건성 보장을 도입한다.

ABSTRACT

Despite the exploding interest in graph neural networks there has been little effort to verify and improve their robustness. This is even more alarming given recent findings showing that they are extremely vulnerable to adversarial attacks on both the graph structure and the node attributes. We propose the first method for verifying certifiable (non-)robustness to graph perturbations for a general class of models that includes graph neural networks and label/feature propagation. By exploiting connections to PageRank and Markov decision processes our certificates can be efficiently (and under many threat models exactly) computed. Furthermore, we investigate robust training procedures that increase the number of certifiably robust nodes while maintaining or improving the clean predictive accuracy.

연구 동기 및 목표

• 그래프 구조에 대한 적대적 교란에 대해 그래프 기반 모델의 강건성을 동기화하고 정량화한다.
• 지역 예산(local budgets) 하에서 인증 가능한 강건성에 대한 효율적이고 정확한 인증서를 제공하고, 글로벌 예산(global budgets) 하에서는 정확한 인증서나 하한 인증서를 제공한다.
• 깨끗한 정확도(clean accuracy)를 해치지 않으면서 강건성을 향상시키는 강건한 학습 절차를 개발한다.

제안 방법

• 모델 예측을 개인화된 PageRank의 선형 함수로 나타내어 그래프 교란하에서의 강건성 인증서를 가능하게 한다.
• 고정된 간선과 취약한 간선을 포함한 위협 모델을 정의하고 글로벌/로컬 교란 예산을 정의한다.
• 예산 제약 하에서 PageRank에 대해 선형 최적화 형태로 강건성 인증을 변환하고, 로컬 예산에 대해 정책 반복을 통해 정확한 해를 구한다.
• 글로벌 예산으로 확장하기 위해 보조 그래프 MDP를 구성하고 Reformulation Linearization Technique (RLT)을 사용하여 이차 제약 선형 프로그램(QCLP)을 풀어 하한을 얻는다.
• 로컬 예산만 고려할 때는 정확한 인증서를 제공하고, 글로벌 예산이 포함될 때는 계산적으로 타당한 상한을 제공한다.
• 훈련 중 Worst-case 여지를 활용하여 강건성을 향상시키는 강건한 학습 손실을 제안한다.

실험 결과

연구 질문

• RQ1 주어진 예산 하에서 취약한 간선의 모든 허용 가능한 교란에 대해 노드의 예측이 강건한지 인증할 수 있는가?
• RQ2 로컬 교란에 대한 인증서를 어떻게 효율적으로 계산하고 글로벌 예산 하에서 계산 가능 한 상한을 어떻게 얻을 수 있는가?
• RQ3 강건성 인증서를 사용하여 청정 정확도를 해치지 않으면서 모델의 회복력을 개선하기 위한 학습을 안내할 수 있는가?

주요 결과

• 로컬 예산에 대한 정확한 인증서를 계산할 수 있어 대상 노드에 대한 인증 가능한 강건성을 판단할 수 있다.
• 글로벌 예산 시나리오는 NP-hard이지만 최악의 경우 여유의 하한은 보조 그래프 MDP와 QCLP with RLT relaxation를 통해 효율적으로 계산될 수 있다.
• 최악의 경우 여유를 활용한 강건 학습은 강건성을 개선하면서 청정 정확도를 유지하거나 향상시킬 수 있다.
• 이 방법은 예측이 개인화된 PageRank에 대해 선형인 모델의 클래스에 광범위하게 적용되며, GNNs 및 라벨/특성 전파를 포함한다.
• 벤치마크 그래프에 대한 실험은 인증 가능한 강건성과 강건성 향상 학습의 타당성을 보여준다.