[논문 리뷰] A Multiversion Programming Inspired Approach to Detecting Audio Adversarial Examples

Qiang Zeng, Jianhai Su외 3명|arXiv (Cornell University)|2018. 12. 26.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 6

한 줄 요약

이 논문은 다중버전 프로그래밍 기법을 응용하여, 다양한 오프더쇼프 자동음성인식(ASR) 시스템의 번역문 간 차이를 활용해 오디오 적대적 예제를 탐지하는 MVP-Ears를 제안한다. 이는 99.88%의 탐지 정확도를 달성하며, 실제 적대적 예제가 필요 없이 교차 ASR 유사도 점수를 시뮬레이션하여 향후 이식 가능한 오디오 AEs에 사전 대비하는 방법을 제시한다.

ABSTRACT

Adversarial examples (AEs) are crafted by adding human-imperceptible perturbations to inputs such that a machine-learning based classifier incorrectly labels them. They have become a severe threat to the trustworthiness of machine learning. While AEs in the image domain have been well studied, audio AEs are less investigated. Recently, multiple techniques are proposed to generate audio AEs, which makes countermeasures against them an urgent task. Our experiments show that, given an AE, the transcription results by different Automatic Speech Recognition (ASR) systems differ significantly, as they use different architectures, parameters, and training datasets. Inspired by Multiversion Programming, we propose a novel audio AE detection approach, which utilizes multiple off-the-shelf ASR systems to determine whether an audio input is an AE. The evaluation shows that the detection achieves accuracies over 98.6%.

연구 동기 및 목표

• 딥러닝 기반 ASR 시스템이 스마트 기기에서 점점 더 널리 보급됨에 따라 증가하는 오디오 적대적 예제(AE) 위협을 해결하기 위해.
• 모델 특화 가정이나 사전 처리 히وري스틱스에 의존하지 않는 강력하고 일반적인 탐지 방법을 개발하기 위해.
• 현재 가설적인 상태이지만 향후 이식 가능한 오디오 AEs에 대비해, 교차 ASR 유사도 점수를 활용해 그 영향을 시뮬레이션함으로써 사전 대비 전략을 수립하기 위해.
• 가장 넓은 알려진 오디오 AE 데이터셋에서 방법의 유효성을 검증하여 높은 탐지 정확도와 적응 공격에 대한 저항성을 입증하기 위해.

제안 방법

• 동일한 오디오 입력에 대해 다수의 이질적인 ASR 시스템을 동시에 실행하여 번역 출력을 생성한다.
• 다른 ASR에서 유도된 번역문 간의 유사도 점수를 계산하여 그 분산 정도를 정량화한다.
• ASR 간에 비정상적으로 낮거나 일관되지 않은 유사도 점수가 관찰되면, 적대적 예제가 존재함을 시사한다.
• 이식 가능한 오디오 AEs에 대한 사전 방어를 위해, 여러 ASR이 동시에 속임을 입증하는 경우를 시뮬레이션하는 유사도 점수 벡터로 구성된 합성 데이터를 사용해 시스템을 학습시킨다.
• 실제 적대적 예제가 필요 없이, 이러한 유사도 점수 벡터를 기반으로 분류기(예: 로지스틱 회귀)를 사용해 탐지 모델을 학습시킨다.
• ASR 아키텍처, 파라미터, 학습 데이터의 본질적 다양성을 활용하여 현재 오디오 AEs의 낮은 이식성 특성을 유리하게 활용한다.

실험 결과

연구 질문

• RQ1 다양한 이질적인 ASR 시스템 간의 번역 불일치가 오디오 적대적 예제를 신뢰성 있게 탐지할 수 있는가?
• RQ2 이 방법은 특히 적응 공격 시나리오에서 화이트박스 및_BLK박스 오디오 AEs를 얼마나 효과적으로 탐지하는가?
• RQ3 실제로 생성되지 않은 상태에서도, 향후 이식 가능한 오디오 AEs에 대비해 탐지 시스템을 사전에 학습시킬 수 있는가?
• RQ4 ASR 시스템의 다양성이 오디오 영역에서 적대적 예제의 이식성을 어느 정도 제한하는가?

주요 결과

• MVP-Ears는 가장 넓은 알려진 오디오 AE 데이터셋에서 99.88%의 탐지 정확도를 달성하여 높은 강건성과 일반화 능력을 입증한다.
• 이 방법은 최적화 및 유전 알고리즘을 통해 생성된 화이트박스 및 블랙박스 오디오 AEs를 효과적으로 탐지한다.
• 어떤 원본 오디오도 악성 명령어를 삽입하는 데 사용 가능하다는 가정을 무너뜨리며, 공격를 회피하기 위해 원본과 악성 콘텐츠 간의 높은 유사도가 필요함을 시사한다.
• 사전 학습 전략을 통해 실제 존재하지 않는 이식 가능한 AEs에 대해서도 교차 ASR 유사도를 시뮬레이션함으로써 탐지가 가능해지며, 이는 실존하지 않는 예제가 있어도 가능하다는 것을 의미한다.
• DeepSpeech v0.1.0 및 v0.1.1과 같은 로컬 ASR을 사용함으로써 지연을 거의 없애면서도 99.56%의 정확도를 유지하여 실시간 배포에 적합함을 입증한다.