[논문 리뷰] Adversarial Patch

T. B. Brown, Dandelion Mané외 3명|arXiv (Cornell University)|2017. 12. 27.

Adversarial Robustness in Machine Learning인용 수 78

한 줄 요약

논문은 배경에 대한 지식 없이도 어떤 장면에도 인쇄해 배치할 수 있는 보편적이고 강건한 표적화 적대적 이미지 패치를 생성하는 방법을 제시한다. 이 패치는 선택된 Target 클래스로 분류기를 출력하도록 유도하며, 다양한 변환과 위치에서도 효과를 유지하도록 Expectation over Transformations 프레임워크로 패치를 학습한다, 실세계 공격을 가능하게 한다.

ABSTRACT

We present a method to create universal, robust, targeted adversarial image patches in the real world. The patches are universal because they can be used to attack any scene, robust because they work under a wide variety of transformations, and targeted because they can cause a classifier to output any target class. These adversarial patches can be printed, added to any scene, photographed, and presented to image classifiers; even when the patches are small, they cause the classifiers to ignore the other items in the scene and report a chosen target class. To reproduce the results from the paper, our code is available at https://github.com/tensorflow/cleverhans/tree/master/examples/adversarial_patch

연구 동기 및 목표

• 물리 세계에서 지각 가능하지 않은 perturbation이 아닌 큰 perturbation을 적대적 공격으로 연구의 동기를 부여한다.
• 배경과 변환에 대해 보편적인 패치 기반 공격을 제안한다.
• 다양한 조건에서 표적 클래스를 유도하는 패치를 학습하기 위한 최적화 프레임워크를 개발한다.
• 실세계 설정에서 여러 모델을 속일 수 있는 패치를 인쇄하고 배치하는 가능성을 입증한다.

제안 방법

• 이미지에 독립적인 패치 p를 위치 l에서 패치 변환 t와 함께 이미지 x에 적용하는 연산자 A(p,x,l,t)을 정의한다.
• 랜덤 이미지, 패치 변환 및 위치에 대해 목표 클래스로 ŷ의 기대 로그 확률을 최대화하여 패치를 학습한다: p̂ = arg max_p E_{x∼X,t∼T,l∼L}[log Pr(ŷ|A(p,x,l,t))].
• Expectation over Transformations (EOT) 프레임워크를 사용하여 배경-무관한 효과를 유도한다.
• 패치를 원래 패치 p_orig에 L∞ 노름 하에서 가깝게 유지하도록 제약하여 패치를 위장할 수 있도록 한다.
• 여러 ImageNet 모델에 대해 화이트박스 및 블랙박스 설정에서 패치를 평가한다.
• 패치를 인쇄하고 실제 장면에서 테스트하여 물리적 세계로의 전이성을 입증한다.

실험 결과

연구 질문

• RQ1 다양한 배경, 위치, 변환에 걸쳐 단일하고 보편적인 패치가 여러 분류기를 속일 수 있는가?
• RQ2 보편적이고 물리적 세계 설정에서 표적 클래스를 일관되게 유도하기에 패치의 크기는 얼마나 커야 하는가?
• RQ3 패치를 위장하거나 변환했을 때, 그리고 보지 못한 모델이나 실제 응용에 전이되었을 때 효과가 유지되는가?

주요 결과

• 제안된 방법으로 학습된 단일 패치가 서로 다른 모델과 장면에서 분류기를 선택한 대상 클래스로 출력하게 만들 수 있다.
• 패치는 무작위 변위, 회전, 스케일링 하에서도 효과를 유지하며, 다양한 배경에 배치되어도 효과가 있다.
• 위장된 패치(예: 타이 다이 패턴)도 대상 분류기에 대해 상당한 공격력을 유지한다.
• 물리적 세계 실험에서 인쇄된 패치가 다른 물체가 있는 실제 장면에서도 분류기를 속일 수 있음을 보여준다.
• 블랙박스 전이 가능성이 관찰되며, 패치의 크기와 가시성에 따라 효과가 달라질 수 있다.
• 이 연구는 작은 교란에 초점을 맞춘 방어가 큰 국부 패치에 대해서는 충분하지 않을 수 있음을 강조한다.