[논문 리뷰] Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition

Yao Qin, Nicholas Carlini외 3명|arXiv (Cornell University)|2019. 03. 22.

Adversarial Robustness in Machine Learning인용 수 176

한 줄 요약

본 논문은 청각 마스킹을 활용한 지각되지 않는(targeted) 공격용 음향을 ASR에 대해 구성하고, 룸 시뮬레이션을 통해 공기 중 왜곡에 대한 강건성을 입증한다.

ABSTRACT

Adversarial examples are inputs to machine learning models designed by an adversary to cause an incorrect output. So far, adversarial examples have been studied most extensively in the image domain. In this domain, adversarial examples can be constructed by imperceptibly modifying images to cause misclassification, and are practical in the physical world. In contrast, current targeted adversarial examples applied to speech recognition systems have neither of these properties: humans can easily identify the adversarial perturbations, and they are not effective when played over-the-air. This paper makes advances on both of these fronts. First, we develop effectively imperceptible audio adversarial examples (verified through a human study) by leveraging the psychoacoustic principle of auditory masking, while retaining 100% targeted success rate on arbitrary full-sentence targets. Next, we make progress towards physical-world over-the-air audio adversarial examples by constructing perturbations which remain effective even after applying realistic simulated environmental distortions.

연구 동기 및 목표

• 사람들에게 지각되지 않으면서 ASR 시스템에서 전체 문장 표적 성공률 100%를 달성하는 적대적 예제가 만들어질 수 있음을 보여준다.
• 룸 잔향을 시뮬레이션하고 룸 구성에 대해 최적화함으로써 공기 중 왜곡에 대한 강건성을 개발한다.
• LibriSpeech 데이터를 사용한 최첨단 Lingvo ASR 시스템에서 지각성과 강건성을 평가한다.
• 화이트 박스 위협 모델 하에서 보안적이고 강건한 ASR 적대자의 이해를 향상시킨다.

제안 방법

• 마스킹 임계값 아래에서 지각할 수 없도록 perturbations가 되도록 기존 Lp-거리 대신 심리음향 마스킹을 사용한다.
• 두 단계 최적화: 먼저 작은 perturbation 하에서 ASR 손실을 최소화한 다음 마스킹 임계 손실(ell_theta)을 통해 지각가능성을 강제한다.
• 음향 룸 시뮬레이터(image-source 방법)를 사용해 잔향을 모델링하고 다양한 룸 구성에 걸쳐 perturbations를 최적화한다(변환에 대한 기대).
• 두 단계 또는 결합된 목적함수를 사용해 시뮬레이션된 공기 중 왜곡에서도 효과를 유지하는 지각가능하고 강건한 적대적 예제를 생성한다.
• 유도된 표적 전사 y를 유지하면서 Lingvo(L listen, Attend, and Spell 기반) ASR을 공격한다.
• 강건성이 필요할 때는 강건한 perturbation에서 시작해 지각가능성 손실로 미세조정하여 강건성과 지각가능성의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 ASR 표적 adversarial 예제가 청각 마스킹을 이용해 인간 청취자에게 지각되지 않도록 만들 수 있는가?
• RQ2 적대적 교란이 음향 모델로 시뮬레이션된 현실적 룸 환경에서 재생될 때도 효과가 유지되는가?
• RQ3 화이트박스 접근하에 Lingvo와 같은 현대 엔드투엔드 ASR에 대해 전체 문장 표적 adversarial 출력을 생성하는 것이 가능한가?
• RQ4 ASR 적대 사례에서 지각가능성과 공기 중 왜곡에 대한 강건성 사이의 트레이드오프는 무엇인가?

주요 결과

• 지각가능하고 표적화된 적대적 예제는 Lingvo에서 공기 중 시뮬레이션 없이 1000개의 LibriSpeech 샘플에 대해 100% 표적 성공을 달성한다.
• 룸 구성의 분포를 최적화하여 공기 중 강건성을 개선할 수 있으며, 우호적인 WER 개선을 가진 시뮬레이션 룸에서 강건한 예제가 60% 이상의 성공을 달성한다.
• 사람 실험에서 적대적 음향은 깨끗한 음향보다 더 시끄럽게 인지되지 않으며, 청취자들은 지각가능한 적대적 예제와 깨끗한 샘플을 구분하기 어렵다.
• 지각가능성과 강건성을 결합하면 다양한 룸 음향에서 효과를 유지할 수 있는 공격자들이 생겨나지만, 강건성이 높아질수록 지각가능성이 증가하는 트레이드오프가 존재한다.
• 이 접근은 최첨단 Lingvo ASR 시스템을 대상으로 하며 화이트박스 위협 모델 하에서 지각가능하고 강건하며 표적화된 공격이 가능함을 보여준다.
• 강건한 예제는 최대 노름 bound를 늘리면 성공률과 WER이 향상될 수 있지만 지각가능성 비용이 증가할 수 있음을 시사한다.