[논문 리뷰] Defending Against Physically Realizable Attacks on Image Classification

Tong Wu, Liang Tong외 1명|arXiv (Cornell University)|2019. 09. 20.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 12

한 줄 요약

이 논문은 스티커나 안경 프레임과 같은 실제 물리적 공격을 시뮬레이션하는 새로운 추상 모델인 직사각형 가림막 공격(DOA)을 도입하여 실현 가능한 물리적 적대적 공격에 대한 새로운 방어 기법을 제안한다. 이 방법은 DOA로 생성된 예시를 사용한 적대적 훈련을 통해 이러한 공격에 강건한 모델을 만든다. 얼굴 인식 및 교통 표지 분류 작업에서 표준 적대적 훈련 또는 랜덤 스무딩보다 유의미하게 높은 강건성을 달성한다.

ABSTRACT

We study the problem of defending deep neural network approaches for image classification from physically realizable attacks. First, we demonstrate that the two most scalable and effective methods for learning robust models, adversarial training with PGD attacks and randomized smoothing, exhibit very limited effectiveness against three of the highest profile physical attacks. Next, we propose a new abstract adversarial model, rectangular occlusion attacks, in which an adversary places a small adversarially crafted rectangle in an image, and develop two approaches for efficiently computing the resulting adversarial examples. Finally, we demonstrate that adversarial training using our new attack yields image classification models that exhibit high robustness against the physically realizable attacks we study, offering the first effective generic defense against such attacks.

연구 동기 및 목표

• 스티커나 정지 표지판에 부착된 광고판 또는 적대적 안경 프레임과 같은 실현 가능한 물리적 공격에 대한 효과적인 방어가 부족한 문제를 해결한다.
• 실세계 물리적 공격에 대해 기존의 강건한 학습 방법—PGD 기반 적대적 훈련과 랜덤 스무딩—의 한계를 평가한다.
• 물리적 적대적 변형의 제약 조건과 특성을 더 잘 반영하는 새로운 공격 모델인 직사각형 가림막 공격(DOA)을 개발한다.
• 제안된 DOA 모델을 사용한 적대적 훈련이 기존 방어 방법에 비해 실세계 물리적 공격에 대해 유의미하게 높은 강건성을 보이는지 입증한다.

제안 방법

• 적대적 공격자가 이미지에 작은, 적대적으로 설계된 직사각형(스티커)을 부착하는 방식의 새로운 추상 적대적 모델인 직사각형 가림막 공격(DOA)을 제안한다.
• 오분류를 최대화하기 위해 직사각형의 위치와 내용을 최적화하는 효율적인 알고리즘을 설계하여 적대적 가림막을 계산한다.
• 표준 적대적 훈련 절차를 통해 DOA 모델 하에서 생성된 적대적 예시를 사용해 딥 네트워크를 훈련시킨다.
• 훈련을 위한 DOA 예시 생성을 위해 체계적 탐색과 기울기 기반 탐색 전략을 모두 활용하여 확장 가능하고 효과적인 방어 학습을 가능하게 한다.
• 두 가지 실제 물리적 공격 시나리오—적대적 안경 프레임을 사용한 얼굴 인식 및 스티커 공격을 사용한 교통 표지 분류—에서 방어 성능을 평가한다.
• 동일한 물리적 공격 설정 하에서 DOA로 훈련된 모델의 성능을 $l_p$-노름 기반 공격(PGD, $l_{ u}$)과 랜덤 스무딩으로 훈련된 모델과 비교한다.

실험 결과

연구 질문

• RQ1 PGD 기반 적대적 훈련과 랜덤 스무딩과 같은 표준 강건한 훈련 방법은 안경 프레임이나 스티커와 같은 실현 가능한 물리적 공격에 대해 얼마나 효과적인가?
• RQ2 특히 직사각형 가림막을 반영하는 새로운 적대적 공격 모델은 이미지 분류기의 강건성을 향상시킬 수 있는가?
• RQ3 제안된 DOA 모델을 사용한 적대적 훈련이 기존 방어 방법에 비해 실세계 물리적 공격에 대해 유의미하게 높은 강건성을 보이는가?
• RQ4 DOA 방어는 직사각형 외의 다른 물리적 공격 패턴, 예를 들어 삼각형이나 심장 모양의 마스크와 같은 패턴으로 일반화되는가?
• RQ5 디지털 도메인에서 $l_p$-노름으로 제한된 공격(PGD 등)에 대해 DOA 방어는 어느 정도 효과를 유지하는가?

주요 결과

• PGD 기반 적대적 훈련과 랜덤 스무딩은 물리적 공격에 대해 제한된 효과를 보이며, 강건성이 크게 떨어진다 (예: 순수 정확도 ~98%에서 물리적 스티커 공격 시 <5%로 감소).
• 제안된 DOA 기반 방어는 적대적 안경 프레임 공격 하에서 얼굴 인식 작업에서 100%의 강건성을 달성했으며, PGD로 훈련된 모델(ε=2일 때 44.04% 강건성)과 랜덤 스무딩(ε=2일 때 39.79% 강건성)을 뛰어넘었다.
• 교통 표지 분류 작업에서는 DOA로 훈련된 모델이 물리적 스티커 공격 하에서도 95.59%의 정확도를 유지했으며, PGD로 훈련된 모델(91.20%)과 순수 모델(89.54%)보다 높았다.
• DOA로 훈련된 모델은 큰 삼각형이나 심장 모양의 마스크와 같은 다른 가림막 패턴으로도 잘 일반화되며, 이미지의 최대 8%를 차지하더라도 높은 강건성을 유지했다.
• DOA는 $l_{ u}$-제한된 PGD 공격(예: ε=8일 때 33.40% 강건성)에는 효과가 없으며, 이는 물리적이고 局부적이고 희박한 변형에 특화되어 있음을 확인한다.
• DOA 방어는 $l_0$-제약 공격(JSMA 등)에 대해서도 효과적이며, 원본 모델 대비 강건성이 향상되어 있어 희박성 제약이 있는 공격에 대한 광범위한 적용 가능성을 보여준다.