[논문 리뷰] LaVAN: Localized and Visible Adversarial Noise

Danny Karmon, Daniel Zoran외 1명|arXiv (Cornell University)|2018. 01. 08.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 106

한 줄 요약

LaVAN은 주 객체를 건드리지 않으면서도 이미지의 2% 패치로 한정된 가시적 적대적 노이즈가 이미지 간/위치 간에 전달되어 Inception v3를 높은 확신으로 속일 수 있음을 보여준다.

ABSTRACT

Most works on adversarial examples for deep-learning based image classifiers use noise that, while small, covers the entire image. We explore the case where the noise is allowed to be visible but confined to a small, localized patch of the image, without covering any of the main object(s) in the image. We show that it is possible to generate localized adversarial noises that cover only 2% of the pixels in the image, none of them over the main object, and that are transferable across images and locations, and successfully fool a state-of-the-art Inception v3 model with very high success rates.

연구 동기 및 목표

• 보이는 상태이지만 이미지의 작은 영역에 국소화되어 주 객체를 덮지 않는 적대적 노이즈를 조사한다.
• 이러한 노이즈가 이미지와 위치 간에 매우 효과적이고 전이 가능하다는 것을 보여준다.
• 네트워크 도메인과 이미지 도메인 노이즈 설정을 비교하고 모델 약점에 대한 시사점을 분석한다.

제안 방법

• 적대적 노이즈를 마스크 m을 사용한 최적화로 형식화하여 작은 패치로 섭동을 제한한다 (x' = (1-m) ⊙ x + m ⊙ δ).
• 프리-소프트맥스 활성화 M(x)를 기반으로 목표 클래스 방향으로 밀고 최고 점수의 소스 클래스로부터 멀어지는 손실을 사용한다.
• 두 가지 노이즈 도메인: 네트워크 도메인(무제한)과 이미지 도메인( [0,1]로 잘림).
• 이미지 픽셀의 2%까지의 패치 크기로 국소화 전략을 개발하며, 일반적으로 299×299 이미지에서 42×42로 설정하고 이미지 모서리 근처에 위치시킨다.
• 동일한 패치를 무작위 이미지/위치에 걸쳐 반복적으로 적용하고 공유 목표 클래스로의 기울기 steps를 업데이트하여 전이 가능한(일반적인) 국소화 노이즈로 확장한다.

실험 결과

연구 질문

• RQ1 작고 보이는 국소화된 노이즈 패치가 주 객체를 덮지 않고 이미지를 잘못 분류할 수 있는가?
• RQ2 이러한 국소화된 노이즈가 이미지 도메인과 네트워크 도메인 내의 서로 다른 이미지와 위치 간에 전이 가능한가?
• RQ3 네트워크 도메인과 이미지 도메인 설정은 성공률과 전이 가능성에서 어떻게 비교되는가?
• RQ4 이 국소화된 섭동에 대한 그래디언트 귀속의 패턴은 어떠한가(네트워크가 패치를 잘못 탓하는가?)

주요 결과

• 네트워크 도메인의 국소화된 노이즈는 픽셀의 최대 2%를 커버하고 주 객체를 건드리지 않으면서 높은 확신으로 잘못 분류할 수 있다.
• 단일 이미지, 단일 위치 설정에서 시도한 구성의 79%가 목표 고확신 오분류를 성공시켰고; 목표 확신을 낮추는 것을 허용하면 91%, 98%는 소스 클래스가 아닌 클래스로 오분류되었다.
• 전이 가능한 국소화된 노이즈는 14개의 대상 클래스에 대해 효과적이었고, 약 83%의 위치에서 목표 확신 ≥0.9를 달성했고 위치의 97%에서 소스 클래스를 차단했다.
• 이미지 도메인 전이 가능 노이즈는 덜 효과적이었지만 여전히 사용 가능했고, 목표 ≥0.9를 달성한 비율이 28.3%, 최상위 대상으로 74.1%; 소스를 오분류한 비율은 78.9%였다.
• 전이 노이즈에서 얻은 패치를 이용해 이미지를 테스트했을 때 위치에 따라 목표 및 소스 확률이 달라졌지만, 패치는 그래디언트에서 눈에 띄게 남아 주된 원인으로 간주되지는 않았다.