[논문 리뷰] Randomized Message-Interception Smoothing: Gray-box Certificates for Graph Neural Networks

Yan Scholten, Jan Schuchardt외 3명|arXiv (Cornell University)|2023. 01. 05.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNN)에 대해 그레이박스 무작위 메시지 가로막기 스무딩을 제안하며, 전체 노드를 제어하는 적대자에 대비해 더 강력한 강건성 인증을 제공하기 위해 메시지 전달 아키텍처를 활용한다. 무작위로 간선을 삭제하거나 노드 특징을 제거함으로써 다수결 투표를 통해 스무딩 분류기(스무딩 분류기)를 계산하며, 특히 먼 거리에 있는 적대적 노드에 대해 상당히 향상된 인증 가능한 강건성을 달성한다. 이는 이전 방법보다 더 효율적이다.

ABSTRACT

Randomized smoothing is one of the most promising frameworks for certifying the adversarial robustness of machine learning models, including Graph Neural Networks (GNNs). Yet, existing randomized smoothing certificates for GNNs are overly pessimistic since they treat the model as a black box, ignoring the underlying architecture. To remedy this, we propose novel gray-box certificates that exploit the message-passing principle of GNNs: We randomly intercept messages and carefully analyze the probability that messages from adversarially controlled nodes reach their target nodes. Compared to existing certificates, we certify robustness to much stronger adversaries that control entire nodes in the graph and can arbitrarily manipulate node features. Our certificates provide stronger guarantees for attacks at larger distances, as messages from farther-away nodes are more likely to get intercepted. We demonstrate the effectiveness of our method on various models and datasets. Since our gray-box certificates consider the underlying graph structure, we can significantly improve certifiable robustness by applying graph sparsification.

연구 동기 및 목표

• 블랙박스 무작위 스무딩이 GNN에서 메시지 전달 아키텍처를 고려하지 못하고 과도하게 경계가 높은 강건성 인증을 내는 데 기인한 한계를 해결하기 위해.
• GNN의 구조적 특성을 활용하여 더 날카우며 현실적인 강건성 보장을 제공하는 그레이박스 인증 프레임워크를 개발하기 위해.
• 그래프 내 여러 개의 제어된 노드의 특징을 임의로 조작할 수 있는 강력한 적대자에 대비한 인증을 가능하게 하기 위해.
• 그래프 희소화를 통해 메시지 가로막기 수를 줄여 몬테카를로 샘플 수를 감소시킴으로써 강건성 인증의 효율성과 확장성을 향상시키기 위해.
• 특정 아키텍처에 국한된 화이트박스 방법과 달리, 메시지 전달 GNN의 넓은 범위에 적용 가능한 모델에 종속되지 않는 접근법을 만들기 위해.

제안 방법

• 확률 $ p_d $ 로 간선 삭제 및 확률 $ p_a $ 로 노드 특징 제거를 동시에 고려하는 이중 스무딩 분포를 제안하며, 제거된 특징은 학습 가능한 토큰 $ \bm{t} $ 로 대체된다.
• 기본 GNN $ f $ 를 다양한 무작위적 변형을 거친 그래프 $ G $ 에 대해 예측한 결과의 다수결 투표를 통해 스무딩 분류기 $ g $ 를 구성한다.
• 표적 노드 $ v $ 에 도달하는 메시지의 수를 기반으로 레이블 이동의 이론적 경계를 유도한다. 이 경계는 $ |p_{v,y}(G) - p_{v,y}(G')| \triangleq \text{Pr}(E) $ 로 표현되며, 여기서 $ E $ 는 변형된 노드에서 적대적 메시지가 표적 노드 $ v $ 에 도달하는 사건이다.
• 이 경계를 레이블 이동의 상한선으로 사용함으로써, 수신된 모든 적대적 메시지가 예측을 변경할 수 있는 최악의 상황을 가정하여 확보 가능한 강건성 인증을 가능하게 한다.
• 메시지 수를 줄이기 위해 그래프 희소화를 적용함으로써, 정확도를 유지하면서도 더 강력한 인증 가능한 강건성을 달성한다.
• 몬테카를로 샘플링을 통해 $ p_{v,y}(G) $ 를 추정하며, 실험 결과 Cora-ML에서 17초 이내로 인증이 완료되어 이전의 스무딩 기반 방법보다 상당히 빠르게 작동함을 확인하였다.

실험 결과

연구 질문

• RQ1 메시지 전달 아키텍처를 활용함으로써 GNN의 강건성 인증을 블랙박스 무작위 스무딩보다 향상시킬 수 있는가?
• RQ2 간선 삭제 및 노드 특징 제거를 통한 메시지 가로막기 스무딩이 적대적 메시지가 표적 노드로 전파될 확률에 어떤 영향을 미치는가?
• RQ3 특정 노드를 제어하고 특징을 임의로 조작할 수 있는 강력한 위협 모델 하에서 GNN에 대해 더 날카우며 증명 가능한 강건성 인증을 도출할 수 있는가?
• RQ4 기존의 무작위 스무딩 및 특징 제거 기반 인증 방법과 비교해 본다면, 제안된 방법은 효율성과 강건성 측면에서 어떻게 다른가?
• RQ5 그래프 희소화는 제안된 프레임워크에서 인증 가능한 강건성을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 그레이박스 인증 방법은 기존의 블랙박스 무작위 스무딩 방법보다 인증 가능한 강건성에서 뚜렷이 뛰어나며, 특히 그래프 내 거리가 먼 곳에서의 적대적 공격에 대해 뛰어난 성능을 보인다.
• 이 방법은 전체 노드를 제어하고 특징을 임의로 조작할 수 있는 적대자에 대비한 인증 가능한 강건성을 달성한다. 이는 이전 연구보다 더 강력한 위협 모델을 반영한 것이다.
• Cora-ML에서의 인증은 단 17초 만에 완료되었으며, 이는 이전의 스무딩 기반 방법이 최대 25분이 걸리는 데 비해 상당히 향상된 성능이다.
• 그래프 희소화를 통해 가로막아야 할 메시지의 수를 줄여, 정확도를 유지하면서도 더 강력한 인증 가능한 강건성을 달성한다.
• 표적 노드에 도달할 가능성이 있는 적대적 메시지의 확률인 $ \text{Pr}(E) $ 는 레이블 이동의 날카운 상한선으로 작용하며, 효과적인 강건성 인증을 가능하게 한다.
• 이 방법은 GCN과 같은 특정 모델에 국한되지 않은 모델에 종속되지 않는 접근법이며, 메시지 전달 GNN의 넓은 범위에 적용 가능하다. 반면 화이트박스 인증은 특정 모델에 국한된다.