[논문 리뷰] Identifying Audio Adversarial Examples via Anomalous Pattern Detection

Victor Akinwande, Celia Cintas외 2명|arXiv (Cornell University)|2020. 02. 13.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 11

한 줄 요약

이 논문은 신경망 활성화 공간에서 부분집합 스캔을 사용하여 음성 적대적 예제를 탐지하는 비지도 이상 패턴 탐지 방법을 제안한다. 이는 양호한 샘플 성능을 떨어뜨리지 않은 채 최신 공격을 탐지하는 데까지 AUC 0.982에 도달하며, 모델 레이어에서 통계적으로 유의미한 활성화 이상 현상에 의해 강력한 탐지 성능을 입증한다.

ABSTRACT

Audio processing models based on deep neural networks are susceptible to adversarial attacks even when the adversarial audio waveform is 99.9% similar to a benign sample. Given the wide application of DNN-based audio recognition systems, detecting the presence of adversarial examples is of high practical relevance. By applying anomalous pattern detection techniques in the activation space of these models, we show that 2 of the recent and current state-of-the-art adversarial attacks on audio processing systems systematically lead to higher-than-expected activation at some subset of nodes and we can detect these with up to an AUC of 0.98 with no degradation in performance on benign samples.

연구 동기 및 목표

• 공격 유형이나 레이블 데이터에 대한 사전 지식 없이 적대적 음성 입력을 탐지하기 위해.
• 딥 네트워크의 활성화 공간에서 작동하는 비지도 탐지 기반 메커니즘을 개발하기 위해.
• 적대적 편향을 탐지하면서도 양호한 음성 샘플에서 높은 정확도를 유지하기 위해.
• 다양한 음성 처리 모델과 데이터셋 간에 적대적 예제의 일반적인 특성을 식별하기 위해.

제안 방법

• 비모수적 스캔 통계를 사용하여 DNN 레이어 내에서 이상적인 뉴런 활성화 부분집합을 탐지한다.
• 레이어 내 모든 가능한 노드 부분집합에 대해 최적화하여 실수 값을 갖는 이상도 점수를 정의한다.
• 양호한 샘플의 활성화 배경 분포를 사용하여 각 부분집합에 대한 p-값을 계산한다.
• 부분집합 스캔(Subset Scanning, SS)을 적용하여 적대적 입력에서 높은 활성화 노드 집합의 통계적으로 유의미한 군집을 식별한다.
• 'relu_2' 레이어에서 활성화 이상 현상이 가장 분류 능력이 뛰어난 레이어를 중심으로 탐지 과정을 최적화한다 (예: DeepSpeech의 'relu_2').
• 재학습이나 데이터 증강 없이도 기존 모델과 호환되는 플러그인 탐지기로 통합한다.

실험 결과

연구 질문

• RQ1 DNN 레이어 내 이상 활성화 패턴이 적대적 음성 입력과 양호한 입력을 신뢰성 있게 구분할 수 있는가?
• RQ2 제안된 방법이 최신 음성 적대적 공격을 높은 성능과 최소한의 오진으로 탐지할 수 있는가?
• RQ3 부분집합 스캔이 공격에 대한 사전 지식이나 레이블 훈련 데이터 없이도 적대적 예제를 탐지할 수 있는가?
• RQ4 음성 모델에서 적대적 편향을 탐지하기 위해 가장 분류 능력이 뛰어난 레이어와 활성화 부분집합은 무엇인가?
• RQ5 사전 처리나 모델 재학습에 의존하는 기존 방어 방법과 비교해 탐지 성능는 어떻게 되는가?

주요 결과

• DeepSpeech 모델의 'relu_2' 레이어에서 LibriSpeech 데이터셋에서 AUC 0.982를 달성하여 현재 최고 수준의 탐지 방법을 초월한다.
• 동일한 모델과 레이어를 사용하여 Common Voice 데이터셋에서도 AUC 0.973에 도달하여 다양한 데이터셋 간의 뛰어난 일반화 성능을 입증한다.
• 이 방법은 양호한 샘플에서 전체 정확도를 유지하여 사전 처리 기반 방어에서 흔히 발생하는 성능 저하를 방지한다.
• Carlini & Wagner (2018) 및 Qin et al. (2019)의 두 가지 다른 최신 공격에 대해 탐지 성능가 일관되게 유지된다.
• 이 방법은 적대적 예제가 특정 뉴런 부분집합에서 통계적으로 유의미한 활성화 이상 현상을 유도함을 밝혀내며, 이는 부분집합 스캔에 의해 탐지 가능하다.
• 가장 높은 탐지 성능는 DeepSpeech의 'relu_2' 레이어에서 관찰되며, 이 레이어가 적대적 입력에 대해 가장 분류 능력이 뛰어난 활성화 패턴을 포함하고 있음을 시사한다.