[논문 리뷰] Synthesizing Robust Adversarial Examples

Anish Athalye, Logan Engstrom외 2명|arXiv (Cornell University)|2017. 07. 24.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 684

한 줄 요약

이 논문은 Expectation Over Transformation (EOT)라는 일반 프레임워크를 제시하여 변환 분포에 강건한 적대적 예제를 합성하고, 물리적 세계에서 분류기를 속이는 2D 및 3D 적대적 객체를 시연한다.

ABSTRACT

Standard methods for generating adversarial examples for neural networks do not consistently fool neural network classifiers in the physical world due to a combination of viewpoint shifts, camera noise, and other natural transformations, limiting their relevance to real-world systems. We demonstrate the existence of robust 3D adversarial objects, and we present the first algorithm for synthesizing examples that are adversarial over a chosen distribution of transformations. We synthesize two-dimensional adversarial images that are robust to noise, distortion, and affine transformation. We apply our algorithm to complex three-dimensional objects, using 3D-printing to manufacture the first physical adversarial objects. Our results demonstrate the existence of 3D adversarial objects in the physical world.

연구 동기 및 목표

• 실세계 변환(시점, 조명, 노이즈)을 견딜 수 있는 적대적 예제의 필요성을 동기화한다.
• 변환 분포에 걸쳐 적대적 입력을 최적화하기 위한 일반 프레임워크(EOT)를 도입한다.
• 물리적 프린팅을 통한 제작을 포함하여 강건한 2D 적대적 이미지와 3D 질감 객체의 합성을 시연한다.
• 다양한 시점에서 물리적 세계의 분류기를 속일 수 있는 강건한 적대적 객체를 보여준다.

제안 방법

• Expectation Over Transformation (EOT)를 도입: 변환 분포 T 위에서 타깃 클래스의 기대 로그 확률을 최대화한다.
• 목적을 argmax_x' E_{t~T}[log P(y_t|t(x'))]로 정의하고, E_{t~T}[d(t(x'),t(x))] < ε를 제약으로 두되, 여기서 d는 지각 거리이다.
• 각 SGD 스텝에서 변환을 확률적으로 샘플링하여 기대값의 그래디언트를 근사하고, 변환을 통해 미분한다.
• LAB 색 공간에서 지각 거리 항과 목표를 결합하는 라그랑지안-relaxed 형태를 사용하여 눈에 띄지 않도록 만들기.
• 2D에서는 아핀 유사 변환(회전, 평행이동, 노이즈, 조명)으로 T를 모델링하고; 3D에서는 질감을 입력으로 보고 포즈 분포 하에서 그 뷰를 렌더링하며 렌더링 과정을 미분한다.
• 현실 세계의 프린팅 및 조명 변화까지 고려하여 3D 모델의 질감에 EOT를 적용하고 이를 프린트하여 물리적 3D 적대적 객체를 제작한다.

실험 결과

연구 질문

• RQ1 적대적 예제가 실세계 변환의 분포에 대해 강건하게 만들 수 있는가?
• RQ2 EOT 프레임워크가 다양한 시점과 조명에서 여전히 적대적이게 남는 2D 및 3D 적대 입력을 합성할 수 있는가?
• RQ3 다양한 포즈와 조건에서 분류기를 속일 수 있는 물리적 3D 객체를 제작하는 것이 가능한가?
• RQ4 지각적(LAB) 거리와 변환 분포가 교란 크기와 강건성에 어떤 영향을 미치는가?

주요 결과

• 2D 적대적 예제는 1000개의 무작위 변환에 걸쳐 높은 강건성을 달성할 수 있으며(평균 적대성 약 96.4%).
• 3D 질감 객체는 100개의 무작위 포즈에 걸쳐 적대적이게 만들 수 있으며 평균 적대성은 약 83.4%이다.
• 두 개의 인쇄된 3D 객체(거북이와 야구공)는 물리적 테스트에서 다양한 시점 분포에 걸쳐 여전히 적대적이다(예: 거북이의 적대성 100장의 사진 중 82%).
• 본 방법은 입력 변환에 기반한 방어가 강건한 적대적 예제를 신뢰성 있게 차단하지 못한다는 것을 보여주며(EOT가 몇몇 방어를 우회할 수 있다).
• 변환 분포에서 인쇄 색상 오차와 조명 변화를 모델링했음에도 불구하고 강건한 적대적 객체가 여전히 생성되었다.