[논문 리뷰] Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More

Aleksandar Bojchevski, Johannes Klicpera외 1명|arXiv (Cornell University)|2020. 08. 29.

Advanced Graph Neural Networks참고 문헌 42인용 수 8

한 줄 요약

이 논문은 이산 데이터에 대해 랜덤화 스무딩을 사용하여 스파arsity 인식형, 모델 독립적인 강건성 인증을 제안하며, 구조적 및 속성 변형에 대해 그래프 신경망(GNNs)에 대해 효율적이고 날카운 인증을 가능하게 한다. 이 방법은 이전 작업에서 4일이 소요되던 ImageNet 이미지의 인증을 1초 이내로 단축하여 최신 기술 수준의 효율성을 달성하였으며, 입력 크기나 이산 카테고리 수에 영향을 받지 않는다.

ABSTRACT

Existing techniques for certifying the robustness of models for discrete data either work only for a small class of models or are general at the expense of efficiency or tightness. Moreover, they do not account for sparsity in the input which, as our findings show, is often essential for obtaining non-trivial guarantees. We propose a model-agnostic certificate based on the randomized smoothing framework which subsumes earlier work and is tight, efficient, and sparsity-aware. Its computational complexity does not depend on the number of discrete categories or the dimension of the input (e.g. the graph size), making it highly scalable. We show the effectiveness of our approach on a wide variety of models, datasets, and tasks -- specifically highlighting its use for Graph Neural Networks. So far, obtaining provable guarantees for GNNs has been difficult due to the discrete and non-i.i.d. nature of graph data. Our method can certify any GNN and handles perturbations to both the graph structure and the node attributes.

연구 동기 및 목표

• 이산 데이터, 특히 그래프 구조화된 입력에 대해 효율적이고 날카운, 스파arsity 인식형 강건성 인증이 부족한 문제를 해결하기 위해.
• 이전 인증 방법이 효율적이지 않거나 스파arsity를 고려하지 않거나 특정 모델이나 변형 유형에 국한되는 등의 한계를 극복하기 위해.
• 구조적 및 속성 변형을 동시에 고려하는 상황에서도 어떤 GNN 모델(예: 그래프 수준 분류 포함)에 대해 증명 가능한 강건성 인증을 가능하게 하기 위해.
• 입력 차원 또는 이산 카테고리 수에 관계없이 계산 효율성을 확보하여 대규모 그래프 및 고차원 이산 데이터로의 확장성을 확보하기 위해.
• 다양한 작업, 즉 GNN, 이산화된 이미지, 시퀀스에 대해 본 방법의 효과성을 입증하며, 런타임과 더불어 더 날카운 보장을 제공하기 위해.

제안 방법

• 그래프나 이미지와 같은 입력의 구조적이고 희소한 성격을 고려하는 스파arsity 인식형 랜덤화 기법을 도입하여, 이산 데이터에 대한 랜덤화 스무딩 프레임워크를 적응시킨다.
• 각 이산 요소가 양성 및 음성 카테고리에 대해 서로 다른 확률(p+ 및 p−)로 독립적으로 변형되는 일반화된 랜덤화 메커니즘을 사용하여 스무딩 분포에 대한 세밀한 제어를 가능하게 한다.
• 랜덤화된 입력에 대한 다수결 투표 기반의 확률적 강건성 인증을 유도하며, 농도 불등식을 활용해 변형 하에서의 오분류 확률을 경계한다.
• 모델의 랜덤화 샘플에 대한 예측 결과만을 사용하여 인증을 계산함으로써, GNN의 메시지 전달 동역학 분석이 복잡하지 않게 되며, 이는 모델 독립성을 확보한다.
• 이중 클래스 설정보다 더 날카운 보장을 제공하기 위해 보너페르니 보정을 적용한 다중 클래스 확장 기법을 사용한다.
• 변형 확률 행렬 ρx,xt를 사전 계산하고 재사용하여, 전체 분포를 다시 계산하지 않고도 여러 테스트 입력에 대해 인증 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 보수적인 이완을 기반으로 하지 않고도 효율적이고 날카운 강건성 인증 방법을 이산 데이터에 대해 설계할 수 있는가?
• RQ2 스파arsity를 랜덤화 스무딩에 통합하여 그래프 및 기타 이산 데이터에 대해 강건성 인증의 품질을 향상시킬 수 있는가?
• RQ3 구조적 및 노드 속성 변형을 동시에 고려하는 상황에서 GNN에 대한 강건성 인증을 확장할 수 있는가, 특히 그래프 수준 분류에 대해서도 적용 가능한가?
• RQ4 기존 랜덤화 스무딩 대비 스파arsity 인식형 스무딩의 계산 오버헤드는 얼마이며, 대규모 그래프나 고차원 이산 입력으로도 확장 가능한가?
• RQ5 기존의 이산 데이터 인증 방법과 비교해 실제 벤치마크에서 본 방법의 인증 정확도와 추론 시간은 어떻게 되는가?

주요 결과

• 제안된 방법은 이산화된 ImageNet에서 r=1일 때 2.5ms의 런타임으로 0.54의 인증 정확도를 달성하였으며, Lee et al. (2019)의 4일 대비 1000배 빠른 속도를 기록하여 빠른 성능 향상을 입증하였다.
• p+ = 0.1, p− = 0.2로 별도의 플립 확률를 사용함으로써, 동일한 변형 반경에서 비-스파arsity 인식형 기반선 대비 최대 30%까지 인증 비율을 향상시켰다.
• 보너페르니 보정을 적용한 다중 클래스 인증은 이중 클래스 버전보다 더 날카운 보장을 제공하며, 유사한 설정에서 이진화된 MNIST에서 최대 10%까지 인증 정확도를 향상시켰다.
• 본 방법은 기존 인증 기법이 다루지 못했던 그래프 수준 GNN에 대해 처음으로 증명 가능한 강건성 인증을 가능하게 하였다.
• 계산 복잡도는 입력 크기나 이산 카테고리 수에 영향을 받지 않아, 대규모 그래프나 분자의 시퀀스와 같은 고차원 이산 데이터로의 확장이 가능하다.
• 기존의 이산 데이터 관련 연구를 모두 포함하며, 특히 고차원 또는 희소한 환경에서 더 효율적이고 날카운 통합 프레임워크를 제공한다.