[논문 리뷰] Assessing Threat of Adversarial Examples on Deep Neural Networks

Abigail Graese, Andras Rozsa외 1명|arXiv (Cornell University)|2016. 10. 13.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 19

한 줄 요약

이 논문은 적대적 예제가 실생활 응용에서 딥 뉴럴 네트워크에 진정한 보안 위협이 되는지 조사한다. 자르기, 흐림처리, 이진화 등의 실제 이미지 촬영 과정을 시뮬레이션함으로써, 이러한 자연스러운 변환은 대부분의 적대적 예제, 특히 FGS 및 FGV 유형을 무력화시켜 적대적이지 않게 만든다. 주요 발견은 수기 숫자 분류(예: 체크 처리)와 같은 응용에서 전처리 및 촬영 효과로 인해 적대적 예제는 실질적으로 효과가 없음을 보여준다.

ABSTRACT

Deep neural networks are facing a potential security threat from adversarial examples, inputs that look normal but cause an incorrect classification by the deep neural network. For example, the proposed threat could result in hand-written digits on a scanned check being incorrectly classified but looking normal when humans see them. This research assesses the extent to which adversarial examples pose a security threat, when one considers the normal image acquisition process. This process is mimicked by simulating the transformations that normally occur in acquiring the image in a real world application, such as using a scanner to acquire digits for a check amount or using a camera in an autonomous car. These small transformations negate the effect of the carefully crafted perturbations of adversarial examples, resulting in a correct classification by the deep neural network. Thus just acquiring the image decreases the potential impact of the proposed security threat. We also show that the already widely used process of averaging over multiple crops neutralizes most adversarial examples. Normal preprocessing, such as text binarization, almost completely neutralizes adversarial examples. This is the first paper to show that for text driven classification, adversarial examples are an academic curiosity, not a security threat.

연구 동기 및 목표

• 실생활 딥 러닝 응용에서 적대적 예제가 진정한 보안 위협이 되는지 평가하기.
• 노이즈, 흐림, 자르기 등의 자연스러운 이미지 촬영 과정이 적대적 예제의 강건성에 미치는 영향 평가하기.
• 이진화 및 다중 자르기 융합과 같은 널리 쓰이는 전처리 기법이 적대적 편향을 무력화할 수 있는지 조사하기.
• 자율주행 차량이나 체크 처리 시스템과 같은 실제 구현 환경에서 적대적 예제가 살아남는지 여부를 판단하기.
• 표준 이미지 처리 파이프라인에서의 취약성을 보여줌으로써 적대적 예제가 치명적인 위협이라는 인식을 도전하기.

제안 방법

• 적대적 예제에 작은 기하학적 및 광학적 변환(예: 이동, 회전, 흐림, 노이즈)을 적용하여 실제 이미지 촬영을 시뮬레이션했다.
• MNIST 데이터셋을 사용하여 FGS 및 FGV 적대적 예제의 강건성을 평가하였으며, 변환 후 분류 정확도를 테스트했다.
• 최신 모델에서 사용하는 앙상블 추론을 시뮬레이션하기 위해 다중 자르기 융합(최대 5개의 자르기)을 적용하여, 적대적 예제가 평균화 과정을 견뎌내는지 평가했다.
• 문서 분석 시스템에서 흔한 전처리를 모방하기 위해 이미지 이진화를 수행하여, 적대적 강건성에 미치는 영향을 테스트했다.
• MNIST를 초월한 일반화를 평가하기 위해 GoogLeNet을 사용하여 ImageNet의 일부 데이터셋에 동일한 변환 파이프라인을 적용했다.
• 표준 메트릭을 사용: 변환 전후의 적대적 예제에 대한 상위-1 및 상위-5 정확도를 측정하여 강건성 수치화.

실험 결과

연구 질문

• RQ1 일상적인 이미지 촬영 변환(예: 흐림, 노이즈, 이동)이 실생활 응용에서 얼마나 적대적 예제를 무력화시키는가?
• RQ2 이진화와 같은 표준 전처리 기법이 텍스트 기반 분류 작업에서 적대적 예제의 위협을 완전히 제거할 수 있는가?
• RQ3 최신 모델에서 흔한 다중 자르기 융합이 적대적 편향에 대해 본질적인 강건성을 제공하는가?
• RQ4 큰 데이터셋인 ImageNet에서 자연스러운 이미지 변환이 적대적 성공률를 유지하는 데 얼마나 효과적인가?
• RQ5 자연스러운 이미지 촬영 과정이 존재함에도 불구하고, 적대적 예제가 여전히 위협이 될 수 있는 조건은 무엇인가?

주요 결과

• 흐림, 노이즈, 소규모 이동과 같은 이미지 촬영 변환은 적대적 예제의 성공률를 크게 감소시켜 대부분을 비적대적으로 만들었다.
• 입력 이미지의 이진화로 인해 MNIST에서 거의 완벽한 성능(정상 테스트 세트 정확도 수준)을 달성했으며, 이는 복합 시각적 집중 방법보다도 정확도 비율에서 20% 높았다.
• 단지 5개의 자르기 융합만으로도 대부분의 적대적 예제가 수정되었으며, 이는 앙상블 추론이 본질적으로 방어 기능을 제공한다는 것을 시사한다.
• ImageNet의 일부 데이터셋에서, 변환 파이프라인 적용 후 FGS 적대적 예제의 상위-1 정확도로 63%가 정확하게 분류되었으며, 상위-5 정확도로는 89.95%의 정확도를 기록했다.
• 이진화와 자르기의 조합은 적대적 성공률를 거의 무시할 수 없을 정도로 낮췄으며, 이는 체크 처리와 같은 문서 기반 시스템에서 적대적 예제가 실질적인 위협이 되지 않는다는 것을 의미한다.
• 자율주행 차량 시스템에서 신호가 여러 프레임에 걸쳐 촬영되는 조건에서, 적대적 예제가 살아남을 확률은 100만 분의 1 미만이며, 이는 각 프레임의 정확도가 90%라고 가정할 때이다.