[논문 리뷰] CommanderSong: A Systematic Approach for Practical Adversarial Voice Recognition

Xuejing Yuan, Yuxuan Chen외 8명|arXiv (Cornell University)|2018. 01. 24.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 163

한 줄 요약

논문은 ASR 시스템이 인식할 수 있는 노래에 음성 명령을 삽입하는 실용적 방법인 CommanderSong을 제시하며, OTA 공격(WAA) 및 직접 WAV 입력(WTA)을 가능하게 하고 방어책을 제안합니다.

ABSTRACT

The popularity of ASR (automatic speech recognition) systems, like Google Voice, Cortana, brings in security concerns, as demonstrated by recent attacks. The impacts of such threats, however, are less clear, since they are either less stealthy (producing noise-like voice commands) or requiring the physical presence of an attack device (using ultrasound). In this paper, we demonstrate that not only are more practical and surreptitious attacks feasible but they can even be automatically constructed. Specifically, we find that the voice commands can be stealthily embedded into songs, which, when played, can effectively control the target system through ASR without being noticed. For this purpose, we developed novel techniques that address a key technical challenge: integrating the commands into a song in a way that can be effectively recognized by ASR through the air, in the presence of background noise, while not being detected by a human listener. Our research shows that this can be done automatically against real world ASR applications. We also demonstrate that such CommanderSongs can be spread through Internet (e.g., YouTube) and radio, potentially affecting millions of ASR users. We further present a new mitigation technique that controls this threat.

연구 동기 및 목표

• 노래를 매개로 하여 현대 DNN 기반 ASR 시스템에 대한 실용적인 적대적 공격을 입증한다.
• 이러한 CommanderSongs가 온라인 미디어(예: YouTube)를 통해 배포되고 많은 ASR 사용자에게 확산될 수 있음을 보인다.
• CommanderSong 공격에 대한 방어 메커니즘을 개발하고 평가한다.
• CommanderSongs의 인간 지각 가능성과 다양한 ASR 플랫폼으로의 전달 가능성을 평가한다.

제안 방법

• Kaldi ASR를 대상으로 삼아 공격 파이프라인을 연구한다.
• 명령 해독을 가능하게 하면서 교란 정도를 최소화하도록 gradient descent를 통해 pdf-id 시퀀스를 정렬하여 적대적 오디오를 제작한다.
• 원래 노래와 대상 명령의 DNN 후방 출력 간의 L1 거리를 최소화하기 위한 매칭 objective로 pdf-id 시퀀스를 정의한다.
• WAA를 위한 화자 음성 및 수신 녹음 노이즈를 시뮬레이션하기 위해 일반적인 노이즈 모델을 통합한다.
• WAA 공격의 화자와 수신기 간 강건성을 높이기 위해 임의의 노이즈를 도입한다.
• 다수의 명령 및 노래에 대해 WTA 및 WAA 공격을 평가하고 인간 지각성 설문조사를 수행한다.

실험 결과

연구 질문

• RQ1 현실 세계의 음향 환경에서 작동하는 실용적인 ASR 시스템에 대한 적대적 공격을 구축하는 것이 가능한가?
• RQ2 적대적 오디오는 사람에게는 눈치채지 못할 정도로 은밀하면서도 ASR에는 인식될 수 있는가?
• RQ3 이런 적대적 샘플이 원격으로 전달되어 온라인 미디어를 통해 다수의 기기에 영향을 줄 수 있는가?
• RQ4 현재의 ASR 시스템에 대한 CommanderSong 공격을 완화할 수 있는 방어책은 무엇인가?

주요 결과

• CommanderSong은 테스트에 사용된 명령들 전부에 대해 WTA 공격에서 Kaldi에서 주입된 명령을 해독하는 데 100% 성공을 달성했다.
• WAA 공격은 JBL 스피커를 사용한 의사 IVC 장치에 대해 최대 96%의 성공률을 달성했으며, 공기 중 설정에서 SNR은 2 dB 미만이었다.
• WTA 공격의 평균 SNR은 14–18.6 dB로, 인식률을 높게 유지하면서 교란이 4% 미만임을 시사한다.
• CommanderSongs는 블랙박스 시나리오에서 iFLYTEK로의 전달 가능성을 시연했다(코드/모델 접근 없음).
• MTurk를 통한 인간 연구는 참가자들이 CommanderSongs에 삽입된 명령을 식별하지 못했다고 제시했다.
• 오디오 터뷸런스와 오디오 스퀴징의 두 가지 방어 접근법이 공격에 대해 효과를 보였다.