[논문 리뷰] Trust but Verify: An Information-Theoretic Explanation for the Adversarial Fragility of Machine Learning Systems, and a General Defense against Adversarial Attacks

Jirong Yi, Hui Xie외 4명|arXiv (Cornell University)|2019. 05. 25.

Adversarial Robustness in Machine Learning참고 문헌 61인용 수 4

한 줄 요약

이 논문은 기계학습에서의 적대적 취약성에 대한 정보이론적 설명을 제안하며, 이를 분류기의 특징 압축에 기인한다고 주장한다. 연구는 재구성 오차를 활용해 적대적 입력을 탐지하는 두 가지 일반적인 방어 기법—픽셀 예측 탐지 및 생성 모델 기반 탐지—을 도입하여, 다양한 데이터셋에서 95% 이상의 탐지 정확도를 달성했으며, 일부 사례에서는 100%에 도달했다.

ABSTRACT

Deep-learning based classification algorithms have been shown to be susceptible to adversarial attacks: minor changes to the input of classifiers can dramatically change their outputs, while being imperceptible to humans. In this paper, we present a simple hypothesis about a feature compression property of artificial intelligence (AI) classifiers and present theoretical arguments to show that this hypothesis successfully accounts for the observed fragility of AI classifiers to small adversarial perturbations. Drawing on ideas from information and coding theory, we propose a general class of defenses for detecting classifier errors caused by abnormally small input perturbations. We further show theoretical guarantees for the performance of this detection method. We present experimental results with (a) a voice recognition system, and (b) a digit recognition system using the MNIST database, to demonstrate the effectiveness of the proposed defense methods. The ideas in this paper are motivated by a simple analogy between AI classifiers and the standard Shannon model of a communication system.

연구 동기 및 목표

• 정보이론을 활용해 딥러닝 분류기가 작은 적대적 편향에 왜 취약한지 설명하기 위해.
• AI 시스템에서의 적대적 취약성에 대한 통합된 이론적 설명의 부족을 해결하기 위해.
• 적대적 훈련이나 기울기 마스킹에 의존하지 않는 일반적이고 체계적인 적대적 공격에 대한 방어 기법을 개발하기 위해.
• 실세계 시스템인 음성 및 이미지 분류기와 같은 실제 응용 분야에서 제안된 탐지 방법을 검증하기 위해.
• 다양한 종류의 적대적 공격에 걸쳐 이론적 및 실험적 안정성을 입증하기 위해.

제안 방법

• 특징 압축 가설을 제안: AI 분류기는 고차원 입력을 저차원 표현으로 매핑함으로써, 소규모 입력 편향에 민감해진다.
• 픽셀 예측 탐지(PPD) 방법을 도입: 신경망을 사용해 입력 픽셀을 재구성하도록 훈련시키고, 재구성 오차를 이상치 점수로 사용한다.
• 생성 모델 기반 탐지(OGD) 접근법을 활용: GAN 유사 프레임워크를 사용해 입력 재구성 최적화를 수행하고, 재구성 오차를 통해 적대적 샘플을 탐지한다.
• 재구성 정밀도를 제어하기 위해 정규화 파라미터 λ를 사용하며, 유해 및 정상 샘플 간 MSE 갭을 최대화하기 위해 λ=100을 선택한다.
• 임계값 기반 탐지 적용: 재구성 MSE가 학습된 임계값 τ를 초과하면 샘플은 적대적이라고 표시된다.
• 다양한 클래스와 생성기에서 검출 성능을 통계적으로 평가하기 위해 검출 정확도, 오류 경고 비율, 누락 비율 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 왜 딥러닝 분류기는 작은, 눈에 띄지 않는 적대적 편향에 매우 취약한가?
• RQ2 정보이론을 사용해 AI 분류기의 특징 압축을 적대적 취약성과 공식적으로 연결할 수 있는가?
• RQ3 적대적 훈련이나 기울기 마스킹에 의존하지 않는 일반적인 방어 기법을 설계할 수 있는가?
• RQ4 다양한 입력 모odal에서 재구성 기반 이상 탐지 기법이 적대적 예외를 얼마나 효과적으로 식별할 수 있는가?
• RQ5 생성 모델을 사용해 재구성 오차 기반으로 정상 및 적대적 입력을 신뢰성 있게 구분할 수 있는가?

주요 결과

• 제안된 특징 압축 가설은 분류기에서 차원 축소의 필연적 결과로 적대적 취약성을 설명한다.
• 픽셀 예측 탐지(PPD) 방법은 다양한 MNIST 숫자 클래스에서 최소 80% 이상, 최대 95%의 탐지 정확도를 달성한다.
• 생성 모델 기반 탐지(OGD) 방법은 테스트된 모든 클래스에서 95% 이상의 탐지 정확도를 기록했으며, 일부 사례에서는 정상 및 적대적 샘플 모두 100%에 도달했다.
• DCGAN 기반 탐지에서 오류 경고 비율은 모든 클래스에서 5% 이하였으며, 몇몇 클래스에서는 0.00%로 가장 낮았다.
• 모든 생성기에서 적대적 샘플의 누락 비율은 5% 이하였으며, 일부는 0.00%로 완전한 탐지 성능을 보였다.
• 정규화 파rameter λ=100을 적용함으로써 정상 및 적대적 샘플 간 MSE 갭이 크게 증가하여 재구성 오차 분포 간의 강력한 분리가 가능해졌다.