[논문 리뷰] Adversarial Example Detection for DNN Models: A Review

Ahmed Aldahdooh, Wassim Hamidouche외 2명|arXiv (Cornell University)|2021. 05. 01.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 딥 네ural 네트워크(DNN) 모델을 위한 적대적 예외(AE) 탐지 방법에 대한 종합적인 이론적 및 실험적 리뷰를 제공한다. 다양한 시나리오에서 네 가지 데이터셋에 걸쳐 최신 8종의 탐지기를 평가하여, DNN의 안전성 향상을 위한 성능, 한계 및 향후 연구 방향에 대한 통찰을 제공한다.

ABSTRACT

Deep Learning (DL) has shown great success in many human-related tasks, which has led to its adoption in many computer vision based applications, such as security surveillance system, autonomous vehicles and healthcare. Such safety-critical applications have to draw its path to success deployment once they have the capability to overcome safety-critical challenges. Among these challenges are the defense against or/and the detection of the adversarial example (AE). Adversary can carefully craft small, often imperceptible, noise called perturbations, to be added to the clean image to generate the AE. The aim of AE is to fool the DL model which makes it a potential risk for DL applications. Many test-time evasion attacks and countermeasures, i.e., defense or detection methods, are proposed in the literature. Moreover, few reviews and surveys were published and theoretically showed the taxonomy of the threats and the countermeasure methods with little focus in AE detection methods. In this paper, we attempt to provide a theoretical and experimental review for AE detection methods. A detailed discussion for such methods is provided and experimental results for eight state-of-the-art detectors are presented under different scenarios on four datasets. We also provide potential challenges and future perspectives for this research direction.

연구 동기 및 목표

• 자율주행차 및 헬스케어 시스템과 같은 안전이 중요한 딥 러닝 응용 분야에서 증가하는 적대적 예외의 위험을 다루기 위해.
• 편향 공격 및 방어에 대한 광범위한 연구가 이루어졌음에도 불구하고, 적대적 예외 탐지 방법에 집중한 리뷰가 부족한 점을 규명하기 위해.
• 이론적 기초와 다수의 데이터셋 및 시나리오에서의 실험적 평가를 포함한 AE 탐지 기법에 대한 체계적인 리뷰를 제공하기 위해.
• 다양한 조건에서 최신 8종의 AE 탐지기의 성능을 평가하여 탐지기의 강건성과 신뢰성을 평가하기 위해.
• 현재의 개방 과제를 부각하고 DNN에서의 적대적 예외 탐지 향상을 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 논문은 AE 탐지 방법에 대한 이론적 리뷰를 수행하며, 이상 탐지, 불확실성 추정, 입력 변환 등의 탐지 원리에 따라 분류한다.
• CIFAR-10, CIFAR-100, SVHN, ImageNet의 네 가지 벤치마크 데이터셋을 대상으로 최신 8종의 AE 탐지 방법에 대한 실험적 평가를 수행한다.
• 백색 상자 및_BLK 백박스 공격과 같은 다양한 공격 시나리오를 통해 탐지기의 강건성을 평가하기 위해 실험을 수행한다.
• 탐지 정확도, 거짓 양성 비율, 다양한 노이즈 크기에서의 강건성 등의 성능 지표를 보고한다.
• 분포 이탈 및 적대적 노이즈 패턴 상황에서 탐지기의 행동을 분석하여 일반화 능력과 신뢰성 평가를 수행한다.
• 통계 기반, 재구성 기반, 불확실성 인식 방법을 포함한 다양한 탐지 철학의 강점과 약점을 식별하기 위해 비교 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 공격 유형에서 서로 다른 적대적 예외 탐지 방법의 성능은 어떻게 되는가?
• RQ2 다양한 노이즈 패턴과 공격 시나리오에서 AE 탐지 방법의 강건성과 신뢰성에 영향을 미치는 핵심 요인은 무엇인가?
• RQ3 다양한 데이터셋에서 최신 탐지기들의 탐지 정확도와 거짓 양성 비율은 어떻게 비교되는가?
• RQ4 현행 AE 탐지 기법은 실제 구현 환경에서 어떤 한계와 실패 모드를 보이는가?
• RQ5 DNN에서의 적대적 예외 탐지 효과성과 일반화 능력을 향상시키기 위한 향후 연구 방향은 무엇인가?

주요 결과

• AE 탐지 방법의 성능은 데이터셋에 따라 크게 차이가 나며, ImageNet에 비해 CIFAR-10에서 더 높은 탐지 정확도를 보였다.
• 불확실성 추정 및 입력 재구성 기반 탐지기가 복잡한 상황에서 순수 통계 이상 탐지 기반 탐지기보다 뛰어난 성능을 보였다.
• 분포 이탈 또는 자연 이미지 손상 상황에서 테스트할 경우 많은 탐지기가 높은 거짓 양성 비율을 보였다.
• 단일 탐지 방법이 모든 공격 유형과 데이터셋에서 일관되게 높은 성능을 내지는 못함을 확인하여, 적응형 또는 앙상블 기반 접근이 필요함을 시사한다.
• 현재 탐지기가 강력한 적대적 노이즈나 자연 이미지 변형을 모방하도록 설계된 공격에서는 종종 실패하는 것으로 밝혀졌다.
• 향후 연구는 일반화 능력 향상, 거짓 양성 비율 감소, 그리고 강건한 모델 훈련과의 통합에 초점을 맞춰야 한다.