[논문 리뷰] The Limitations of Deep Learning in Adversarial Settings

Nicolas Papernot, Patrick McDaniel외 4명|arXiv (Cornell University)|2015. 11. 24.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 71

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNNs)에서 적대적 샘플을 생성하기 위한 새로운 방법을 제안한다. 이 방법은 적대적 샌시티 맵을 통해 전방 도수를 계산함으로써 정밀하고 낮은 왜곡을 가진 편향을 가능하게 하여, 평균적으로 입력 특성의 4.02%만 변경함으로써 목표 분류 오류를 유도하는 데 97%의 성공률를 달성한다.

ABSTRACT

Deep learning takes advantage of large datasets and computationally efficient training algorithms to outperform other approaches at various machine learning tasks. However, imperfections in the training phase of deep neural networks make them vulnerable to adversarial samples: inputs crafted by adversaries with the intent of causing deep neural networks to misclassify. In this work, we formalize the space of adversaries against deep neural networks (DNNs) and introduce a novel class of algorithms to craft adversarial samples based on a precise understanding of the mapping between inputs and outputs of DNNs. In an application to computer vision, we show that our algorithms can reliably produce samples correctly classified by human subjects but misclassified in specific targets by a DNN with a 97% adversarial success rate while only modifying on average 4.02% of the input features per sample. We then evaluate the vulnerability of different sample classes to adversarial perturbations by defining a hardness measure. Finally, we describe preliminary work outlining defenses against adversarial samples by defining a predictive measure of distance between a benign input and a target classification.

연구 동기 및 목표

• 적대적 환경에서 딥 뉴럴 네트워크를 대상으로 하는 공격자의 위협 모델을 체계화하는 것.
• 네트워크 구성 요소의 완벽하지 않은 일반화와 선형성에 의해 악용되는 DNN의 취약성을 다루는 것.
• 최소한의 입력 편향으로 목표 분류 오류를 유도할 수 있는 방법을 개발하는 것.
• 정상 입력과 목표 분류 간의 거리를 추정하여 복원력에 대한 예측 측도를 도입하는 것.

제안 방법

• 편향 벡터 δₓ와 DNN 함수 F를 고려하여 min‖δₓ‖을 해결하는 최적화 프레임워크를 제안함으로써 적대적 샘플을 생성한다.
• 전방 도수를 DNN의 학습된 함수의 야코비안 행렬로 정의하여 입력 편향에서 출력 변화로의 직접적인 매핑을 가능하게 한다.
• 전방 도수를 사용하여 적대적 샌시티 맵을 구성함으로써 목표 분류 오류를 유도하는 데 가장 영향을 미치는 입력 특성을 식별한다.
• 최소한의 왜곡으로 특정 목표 출력을 유도하는 편향을 효율적으로 탐색하기 위해 히우리스틱 검색 기법을 활용한다.
• 피드포워드 DNN에 이 방법을 적용하여 지도 및 비지도 아키텍처 모두를 지원한다.
• DNN를 적대적 샘플로 훈련하고 성공률 감소 및 왜곡 증가 정도를 측정함으로써 복원력을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 DNN에서 최소한의 입력 편향으로 목표 분류 오류를 유도할 수 있는 체계적인 적대적 샘플을 생성할 수 있는가?
• RQ2 전방 도수의 역할은 DNN에서 분류 변화에 가장 민감한 입력 특성을 식별하는 데 어떤가?
• RQ3 적대적 샘플은 다양한 DNN 아키텍처와 데이터셋 간에 어느 정도 효과를 유지하는가?
• RQ4 적대적 샘플로 훈련하면 향후 공격에 대한 DNN의 복원력 향상이 가능한가?
• RQ5 입력과 목표 간의 거리에 대한 예측 측도를 어떻게 정의할 수 있으며, 이를 통해 적대적 취약성을 평가할 수 있는가?

주요 결과

• 제안된 방법은 평균적으로 입력 특성의 4.02%만 변경함으로써 이미지의 97%에서 분류 오류를 유도하는 데 성공하였다.
• 전방 도수를 사용하여 생성된 적대적 샘플은 인간 피실험자가 정확하게 분류한 경우에도 DNN에 의해 잘못 분류되는 데 성공하였다.
• 적대적 샘플로 DNN를 훈련시킴으로써 후속 공격의 성공률가 7.2% 감소하고 평균 왜곡이 37.5% 증가하였다.
• 전방 도수 기반의 샌시티 맵은 기울기 기반 방법보다 더 정밀하고 왜곡이 적은 편향을 가능하게 하여 우수한 성능을 보였다.
• 적대적 샘플은 다양한 DNN 아키텍처 간에 전이 가능성을 보여주어 그 강건성과 일반화 능력을 확인하였다.
• 연구는 적대적 훈련을 통해 적대적 복원력을 향상시킬 수 있음을 입증하였지만, 적대적 입력의 탐지 문제는 여전히 열려 있는 과제임을 보여주었다.