[논문 리뷰] One Bit Matters: Understanding Adversarial Examples as the Abuse of Redundancy

Jingkang Wang, Ruoxi Jia외 3명|arXiv (Cornell University)|2018. 10. 23.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 기계학습 모델에서의 특징 부재를 악용함으로써 적대적 예제가 발생한다고 제안하며, 정보 이론을 사용하여 부재가 적대적 취약성의 필수 조건임을 보여준다. 이론과 실험을 통해 압축 또는 양자화를 통한 입력 부재 감소가 강건성을 향상시킴을 입증하며, 강건한 모델의 특징 맵에서 낮은 엔트로피를 보이는 경험적 결과를 제시한다.

ABSTRACT

Despite the great success achieved in machine learning (ML), adversarial examples have caused concerns with regards to its trustworthiness: A small perturbation of an input results in an arbitrary failure of an otherwise seemingly well-trained ML model. While studies are being conducted to discover the intrinsic properties of adversarial examples, such as their transferability and universality, there is insufficient theoretic analysis to help understand the phenomenon in a way that can influence the design process of ML experiments. In this paper, we deduce an information-theoretic model which explains adversarial attacks as the abuse of feature redundancies in ML algorithms. We prove that feature redundancy is a necessary condition for the existence of adversarial examples. Our model helps to explain some major questions raised in many anecdotal studies on adversarial examples. Our theory is backed up by empirical measurements of the information content of benign and adversarial examples on both image and text datasets. Our measurements show that typical adversarial examples introduce just enough redundancy to overflow the decision making of an ML model trained on corresponding benign examples. We conclude with actionable recommendations to improve the robustness of machine learners against adversarial examples.

연구 동기 및 목표

• 정보 이론과 계산의 열역학을 사용하여 적대적 예제의 근본 원인을 설명하기.
• 특징 부재가 적대적 예제 존재에 필수 조건임을 입증하기.
• 이미지 및 텍스트 모델에서 입력 부재와 적대적 강건성 간의 관계를 경험적으로 측정하기.
• 입력 부재 감소를 통해 모델 강건성을 향상시키기 위한 실용적 설계 권고 제공하기.
• 압축 기반 기법을 사용해 적대적 예제를 탐지하기 위한 프리필터로 활용 가능성 탐색하기.

제안 방법

• 샤논의 통신 이론 기반의 정보 이론 모델을 개발하여, 적대적 예제를 부가적인 특징의 남용으로 프레임화하기.
• 이론적으로 기계학습 모델에서 적대적 예제 존재에 특징 부재가 필수 조건임을 증명하기.
• MLE 및 JVHW 추정기법을 사용해 마지막 레이어 특징 맵의 압축 엔트로피를 경험적으로 측정하여 부재 정도를 정량화하기.
• 학습 중에 입력 데이터에 손실 압축 및 양자화 기법을 적용하여 부재를 감소시키고 강건성을 향상시키기.
• 저복잡도 입력을 식별함으로써 적대적 예제 탐지에 사용할 수 있는 압축 기반 복잡도 추정을 프록시로 활용하기.
• 다양한 데이터셋(MNIST, CIFAR)과 적대적 공격 유형(FGSM, DeepFool, CW)을 대상으로 결과 검증하기.

실험 결과

연구 질문

• RQ1 왜 적대적 예제가 존재하며, 기계학습 모델의 어떤 근본적 성질이 이를 가능하게 하는가?
• RQ2 특징 부재가 적대적 예제 존재에 필수 조건인가?
• RQ3 입력 및 특징 표현의 부재와 적대적 강건성 간의 상관관계는 어떠한가?
• RQ4 압축 또는 양자화를 통해 입력 부재를 감소시킴으로써 모델의 강건성이 향상될 수 있는가?
• RQ5 압축 기반 복잡도 추정은 저복잡도 입력을 식별함으로써 실용적인 프리필터로 기능할 수 있는가?

주요 결과

• 정보 이론적 분석을 통해 특징 부재가 적대적 예제 존재에 필수 조건임을 입증하였다.
• 적대적 예제는 순수 데이터로 학습된 모델의 결정 경계를 넘어서기 위해 정확히 부적절한 정도의 부재를 도입한다.
• 강건한 모델은 마지막 레이어 특징 맵에서 낮은 압축 엔트로피를 보이며, 이는 부재 감소를 의미한다.
• 정확도를 모니터링하면서 점점 더 양자화된 입력으로 학습함으로써 부재가 최소화되고 강건성이 최대화되는 지점을 식별할 수 있다.
• 손실 압축 및 양자화 기법은 부재를 감소시키고 강건성을 향상시키며, 경험적 결과로 강건한 모델에서 일관된 엔트로피 감소를 보였다.
• 압축 기반 복잡도 추정은 저복잡도 입력을 식별함으로써 실용적인 프리필터로 활용될 수 있다.