[논문 리뷰] Efficient Certification of Spatial Robustness

Anian Ruoss, Maximilian Baader외 2명|arXiv (Cornell University)|2020. 09. 19.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 부드러움 조건을 포함하는 새로운 볼록 근사화를 사용하여 공간 벡터장 공격에 대한 신경망의 증명 가능 강건성 검증 방법을 처음으로 제안한다. 선형 프로그래밍을 통해 간격 한계를 강화하고 최신 검증기와 통합함으로써, 부드러운 변형이 있는 MNIST 및 CIFAR-10에서 인식률을 높였으며, DeepPoly 기준 최대 76%, MILP 기준 최대 89%에 이르게 하였다. 이는 비부드럽거나 비정형 공격에 비해 강건성 보장을 크게 향상시킨다.

ABSTRACT

Recent work has exposed the vulnerability of computer vision models to vector field attacks. Due to the widespread usage of such models in safety-critical applications, it is crucial to quantify their robustness against such spatial transformations. However, existing work only provides empirical robustness quantification against vector field deformations via adversarial attacks, which lack provable guarantees. In this work, we propose novel convex relaxations, enabling us, for the first time, to provide a certificate of robustness against vector field transformations. Our relaxations are model-agnostic and can be leveraged by a wide range of neural network verifiers. Experiments on various network architectures and different datasets demonstrate the effectiveness and scalability of our method.

연구 동기 및 목표

• 실제 이미지 왜곡에서 흔한 공간 벡터장 공격에 대해 신경망의 증명 가능 강건성 보장을 제공하지 못하는 문제를 해결하기 위해.
• 벡터장 변환 하에 변형된 이미지에 대해 효율적이고 날카운 간격 한계를 제공하는 모델 독립적 방법을 개발하기 위해.
• 기존 신경망 검증기에 부드러움 조건을 통합하여 실제 부드러운 변형 상황에서의 검증 성능을 향상시키기 위해.
• 다양한 아키텍처와 데이터셋, 특히 MNIST 및 CIFAR-10에서의 확장성과 효과성을 입증하기 위해.
• 재현 가능성과 실용적 구현을 위해 ERAN 프레임워크 내에서 오픈소스 구현을 제공하기 위해.

제안 방법

• 한계가 있는 이동 크기(δ)와 부드러움(γ)을 갖는 벡터장에 의해 변형된 이미지의 픽셀 값에 대한 날카운 간격 한계를 계산하기 위한 새로운 볼록 근사화 프레임워크를 제안한다.
• 벡터장의 리프시츠 연속성으로 모델링된 부드러움 조건을 선형 제약 조건으로 변환하여 변환 매개변수에 통합한다.
• 선형 프로그래밍을 사용해 최적화 문제를 효율적으로 해결함으로써 기존 검증기와의 통합을 가능하게 한다.
• 공격 예산을 δ(최대 픽셀 이동 거리)와 γ(벡터장의 부드러움)로 매개변수화하여 변형 유형을 정밀하게 제어할 수 있도록 한다.
• 다중 채널 이미지에 대해 출력 형태를 날카운 경계 상자로 과대추정하고, 샘플링을 통해 근사 오차를 추정한다.
• 최신 검증기(예: DeepPoly, MILP)에 이 근사화를 통합하여 종단 간 강건성 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제 이미지 왜곡에서 흔한 공간 벡터장 변형에 대해 신경망의 증명 가능 강건성 검증을 제공할 수 있는가?
• RQ2 부드러움 조건(γ)을 어떻게 효과적으로 볼록 근사화에 통합하여 간격 한계를 강화하고 검증 성능을 향상시킬 수 있는가?
• RQ3 제안된 근사화는 비부드럽거나 비정형 공격에 비해 얼마나 더 높은 검증률을 달성하는가?
• RQ4 이 방법은 다양한 네트워크 아키텍처와 데이터셋, 특히 대규모 모델과 고해상도 이미지에서 얼마나 확장 가능한가?
• RQ5 다중 채널 이미지의 간격 한계는 얼마나 날카로운가? 샘플링된 변형 이미지에 비해 근사 오차는 얼마인가?

주요 결과

• γ = 0.1일 때, DeepPoly를 사용한 MNIST에서 검증률이 76%에 도달했으며, γ = ∞일 때의 72%보다 높게 향상되었다. MILP 기준 89%로 상승하여 유의미한 개선을 보였다.
• CIFAR-10에서 DeepPoly 기준 검증률은 γ = ∞일 때 72%에서 γ = 0.1일 때 76%로 상승했고, MILP 기준 87%에서 89%로 증가하여 부드러움 조건의 유용성을 입증했다.
• γ = 0.1일 때 이미지당 평균 실행 시간은 DeepPoly 기준 394초, MILP 기준 1168초로, 계산량이 증가했음에도 불구하고 확장성이 뛰어나다는 것을 보였다.
• ImageNet에 대해서도 효율적으로 확장되었으며, 이미지당 간격 한계 계산은 평균 0.02초, 선형 한계 계산은 평균 236초가 소요되었다.
• 근사 오차 분석 결과, 경계 상자 과대추정이 샘플링된 변형 이미지의 98.76%에서 99.10%를 커버하여 높은 날카움을 나타냈다.
• Balunovic 등이 제안한 방법에 본 연구의 부드러움 조건을 통합할 경우 더 뛰어난 성능을 달성했으며, 단독으로는 부드러운 벡터장에 대해 충분하지 않았다.