[논문 리뷰] Provable Certificates for Adversarial Examples: Fitting a Ball in the Union of Polytopes

Matt Jordan, Justin Lewis외 1명|arXiv (Cornell University)|2019. 03. 20.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 ReLU 기반 딥 네ural 네트워크에 대해 모든 볼록한 lp 노름 하에서 정확한 포인트와이즈 내성성을 계산하는 GeoCert라는 방법을 소개한다. 이는 주어진 입력 주변에서 네트워크의 예측 클래스를 유지하는 가장 큰 lp 구를 찾는 방식으로 작동한다. 다면체 복합체 구조를 활용하여 수렴하는 정확한 값에 도달하는 날카운드 하한을 효율적으로 계산하며, 중간 수준의 계산 시간 동안 이전의 연구들보다 내성성 경계 품질에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel method for computing exact pointwise robustness of deep neural networks for all convex lp norms. Our algorithm, GeoCert, finds the largest lp ball centered at an input point x0, within which the output class of a given neural network with ReLU nonlinearities remains unchanged. We relate the problem of computing pointwise robustness of these networks to that of computing the maximum norm ball with a fixed center that can be contained in a non-convex polytope. This is a challenging problem in general, however we show that there exists an efficient algorithm to compute this for polyhedral complices. Further we show that piecewise linear neural networks partition the input space into a polyhedral complex. Our algorithm has the ability to almost immediately output a nontrivial lower bound to the pointwise robustness which is iteratively improved until it ultimately becomes tight. We empirically show that our approach generates a distance lower bounds that are tighter compared to prior work, under moderate time constraints.

연구 동기 및 목표

• 모든 볼록한 lp 노름 하에서 ReLU 신경망의 정확한 포인트와이즈 내성성을 보장하는 방법을 개발하는 것.
• 주어진 입력 점을 중심으로 하는 가장 큰 lp 구를 찾는 문제에 도전하는 것—이 구는 동일한 출력 클래스에 속하는 영역 내에 유지되어야 한다.
• 조각별 선형 네트워크가 유도하는 다면체 복합체 구조를 활용하여 내성성 증명을 효율적으로 계산할 수 있도록 하는 것.
• 하한을 반복적으로 개선하여 정확한 내성성 반경에 수렴시키는 것—정확성과 수렴성을 보장한다.

제안 방법

• 내성성 문제를 주어진 입력 점을 중심으로 하는 최대 노름 구가 동일한 출력 클래스에 속하는 비볼록 다면체 내에 포함되는지 찾는 문제로 모델링한다.
• ReLU 네트워크가 입력 공간을 이러한 구조로 분할한다는 사실을 활용하여 문제를 다면체 복합체 내에 포함된 가장 큰 lp 구를 계산하는 것으로 재구성한다.
• 초기에는 자명한 하한을 가지며, 일련의 볼록 최적화 하위문제를 풀어가며 점진적으로 하한을 강화하는 반복적 개선 과정을 사용한다.
• 다면체 복합체의 기하적 성질을 활용하여 가장 큰 lp 구를 효율적으로 계산함으로써, 임의의 lp 노름에 대해 정확한 내성성 증명을 가능하게 한다.
• 같은 출력 클래스에 속하는 입력의 집합은 다면체의 합집합을 이룬다는 사실을 활용하며, 이 합집합 내에서 x₀를 중심으로 하는 가장 큰 구가 내성성 반경을 정의한다.
• 효율성과 확장성을 고려하여 설계되어, 시간 제약 조건 하에서도 빠르게 날카운드한 경계를 제공한다.

실험 결과

연구 질문

• RQ1 기하적 접근을 통해 모든 볼록한 lp 노름 하에서 ReLU 네트워크의 정확한 포인트와이즈 내성성을 계산할 수 있는가?
• RQ2 주어진 입력을 중심으로 하는 가장 큰 lp 구를 동일한 출력 클래스 내에 유지하는 방식으로 효율적으로 계산할 수 있는가?
• RQ3 ReLU 네트워크의 어떤 구조적 성질이 다면체 복합체를 통한 효율적 내성성 증명을 가능하게 하는가?
• RQ4 실제 구현에 적합한, 보장된 정확성과 계산 효율성을 동시에 확보한 내성성 증명을 유도할 수 있는가?
• RQ5 기존의 적대적 내성성 접근 방식과 비교해 볼 때, 제안된 방법은 경계 품질과 계산 시간 측면에서 어떻게 다른가?

주요 결과

• GeoCert는 다면체 복합체 내 기하학적 포함 문제를 해결함으로써, 모든 볼록한 lp 노름 하에서 ReLU 네트워크의 정확한 포인트와이즈 내성성을 계산한다.
• 중간 수준의 시간 제약 조건 하에서도 이전의 연구들보다 더 날카운드한 내성성 하한을 생성하여 실용적 유용성이 향상됨을 입증한다.
• 알고리즘은 즉각적인 비자명한 하한으로 시작하여 정확한 내성성 반경에 수렴할 때까지 반복적으로 개선한다.
• ReLU 네트워크에 의해 유도되는 입력 공간 분할은 다면체 복합체를 이룬다. 이는 내성성 문제의 기하학적 공식화를 가능하게 한다.
• 이 방법은 일반적이며 모든 lp 노름에 적용 가능하므로, 다양한 내성성 평가 설정에 넓게 적용 가능하다.
• 정확성과 수렴성 보장이 이루어져 내성성 증명의 신뢰성을 확보한다.