[논문 리뷰] Exploring the Landscape of Spatial Robustness

Logan Engstrom, Brandon Tran외 3명|arXiv (Cornell University)|2017. 12. 07.

Land Use and Ecosystem Services인용 수 253

한 줄 요약

이 논문은 작은 회전과 이동에 대한 신경 분류기의 취약성을 연구하고, 1차 방법이 최악의 공간적 교란을 찾는 데 어려움을 보이며, 공간적 강건성을 크게 개선하는 강건화 최적화와 입력 집계(defenses)를 제안한다.

ABSTRACT

The study of adversarial robustness has so far largely focused on perturbations bound in p-norms. However, state-of-the-art models turn out to be also vulnerable to other, more natural classes of perturbations such as translations and rotations. In this work, we thoroughly investigate the vulnerability of neural network--based classifiers to rotations and translations. While data augmentation offers relatively small robustness, we use ideas from robust optimization and test-time input aggregation to significantly improve robustness. Finally we find that, in contrast to the p-norm case, first-order methods cannot reliably find worst-case perturbations. This highlights spatial robustness as a fundamentally different setting requiring additional study. Code available at https://github.com/MadryLab/adversarial_spatial and https://github.com/MadryLab/spatial-pytorch.

연구 동기 및 목표

• MNIST, CIFAR-10, ImageNet에서 작은 회전과 이동이 이미지 분류기의 정확도에 미치는 영향을 평가한다.
• 공간적 교란에 대한 최적화 지형을 특성화하고 공격 방법들(1차, 그리드, worst-of-k)을 비교한다.
• 공간 변환에 대한 강인성을 향상시키기 위한 방어책을 개발하고 평가한다.
• 공간적 교란과 전통적인 픽셀 기반 교란 간의 상호작용을 검토한다.
• 공간적 강인성을 강화하기 위한 실용적 전략(강건한 학습 및 입력 집계)을 제안한다.]
• method:[
• 회전 각도와 픽셀 변위를 사용해 공간 교란을 매개화한다.
• 공격 방법: (i) 회전-이동 매개공간에서의 1차 최적화, (ii) 교란 공간에 대한 그리드 탐색, (iii) 교란에 대한 worst-of-k 샘플링.
• 양선형 보간을 사용하여 bilinear interpolation로 T(x; delta_u, delta_v, theta)를 구현하기 위해 미분 가능한 공간 변환 네트워크를 사용한다.
• 훈련 중에 예시당 k개의 교란 중 최악의 것을 적대적으로 선택하여 강건화된 최적화 영감을 받은 학습을 적용한다.
• 다수의 무작위 공간 변환에 대해 다수 투표로 추론 시 집계를 제안한다.
• 제한된 교란 공간(약 30도 및 약 10% 변위)으로 MNIST, CIFAR-10, ImageNet에서 평가한다.
• 표준 학습, 무작위 회전/이동, worst-of-10 학습 등 방어책을 기본선과 l_infinity 적대적 학습과 비교한다.

실험 결과

연구 질문

• RQ1 작은 회전과 이동이 일반적인 비전 데이터셋의 분류 정확도에 어떤 영향을 미치는가?
• RQ2 최악의 공간 교란을 찾는 데 1차 최적화 방법이 그리드 탐색이나 랜덤 샘플링에 비해 효과적인가?
• RQ3 강건한 학습이나 입력 집계 전략이 공간적 취약성을 완화할 수 있는가?
• RQ4 공간 교란이 픽셀 기반(l_infty) 교란과 상호작용하며 강건성 개념이 서로 독립적인가?

주요 결과

• 분류기는 공간적 교란에 취약하며, 작은 무작위 회전/이동이 정확도를 크게 떨어뜨릴 수 있다(예: MNIST, CIFAR-10, ImageNet에서 큰 하락).
• 공간 교란에 대해 완전한 그리드 탐색 기반 적대자는 1차 방법보다 강력하며, 비볼록한 손실 지형 때문이다.
• worst-of-10 무작위 공간 교란은 강력한 블랙박스 같은 공격으로, 제한된 쿼리로도 큰 정확도 감소를 얻는다.
• 무작위 공간 변환을 이용한 데이터 증강은 MNIST와 CIFAR-10에서 강건성을 향상시키지만 ImageNet에서는 덜 효과적이며, l_infinity 적대적 학습은 공간 강건성에 충분하지 않다.
• 강건화 최적화(worst-of-10 학습)와 다수 추론(무작위 변환의 집계)은 공간적 강건성을 크게 향상시켜 표준 학습과 증강만으로는 얻기 어려운 이점을 제공한다.
• 공간 교란과 l_infinity 교란의 결합은 대부분 서로 직교적인 효과를 가지며, 두 교란에 대해 방어할 때 강건성이 누적적으로 향상된다.