[논문 리뷰] CommanderSong: A Systematic Approach for Practical Adversarial Voice Recognition

Xuejing Yuan, Yuxuan Chen외 8명|arXiv (Cornell University)|2018. 01. 24.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 77

한 줄 요약

논문은 ASR 시스템이 이를 오해하도록 대상 음성 명령을 노래에 임베딩하는 자동 방법인 CommanderSong을 제시하며, 인간은 일반 음악을 인지하고, OTA(over-the-air) 실용적 공격과 방어를 모두 시연합니다.

ABSTRACT

The popularity of ASR (automatic speech recognition) systems, like Google Voice, Cortana, brings in security concerns, as demonstrated by recent attacks. The impacts of such threats, however, are less clear, since they are either less stealthy (producing noise-like voice commands) or requiring the physical presence of an attack device (using ultrasound). In this paper, we demonstrate that not only are more practical and surreptitious attacks feasible but they can even be automatically constructed. Specifically, we find that the voice commands can be stealthily embedded into songs, which, when played, can effectively control the target system through ASR without being noticed. For this purpose, we developed novel techniques that address a key technical challenge: integrating the commands into a song in a way that can be effectively recognized by ASR through the air, in the presence of background noise, while not being detected by a human listener. Our research shows that this can be done automatically against real world ASR applications. We also demonstrate that such CommanderSongs can be spread through Internet (e.g., YouTube) and radio, potentially affecting millions of ASR users. We further present a new mitigation technique that controls this threat.

연구 동기 및 목표

• 실제 ASR 시스템에 대해 노래에 명령어를 임베딩하여 실용적 적대적 공격을 시연합니다( WTA 및 WAA ).
• CommanderSong의 블랙박스 ASR 시스템으로의 전이 가능성 및 온라인 매체(YouTube)와 라디오를 통한 확산을 보여줍니다.
• 숨겨진 명령어에 대한 인간의 인지도를 평가하고 공격에 대한 방어 기법을 제안합니다.

제안 방법

• Kaldi를 사용하여 음향 모델과 언어 모델의 출력을 분석하고 대상 명령어에 해당하는 pdf-id 시퀀스를 추출합니다.
• 경사 하강을 통해 음향 모델 출력과 대상 pdf-id 시퀀스 간의 L1 거리를 최소화하는 목표를 수립합니다( pdf-id 시퀀스 매칭 ).
• 발화자 및 배경 소음을 반영하는 일반적인 잡음 모델을 도입하여 over-the-air 공격(WAA)을 가능하게 합니다.
• 제한된 제약(bound constraint) 아래에서 적대적 섭동을 최적화하여 노래의 충실도를 유지하면서 명령 인식을 보장합니다.
• 장치별 잡음 및 임의 섭동을 도입하여 실제 전송을 고려한 모델을 확장하고 강인성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 실용적 적대적 명령이 노래에 임베딩되어 ASR 시스템이 이를 해석하는 반면 인간은 이를 알아차리지 못하는가?
• RQ2 이러한 CommanderSong은 블랙박스 ASR 시스템으로의 전이가 가능하며 온라인 매체를 통한 원격 확산이 가능한가?
• RQ3 합법적 ASR 성능에 심각한 영향을 주지 않으면서 CommanderSong 공격을 완화할 수 있는 방어책은 무엇인가?

주요 결과

• CommanderSong은 Kaldi에서 12개 명령에 대해 26곡에서 WTA 공격에서 100% 성공률을 달성했습니다(직접 오디오 입력을 통해).
• WAA 공격에서 Kaldi의 성공률은 JBL 스피커를 사용해 공중에서 두 개의 테스트된 명령에 대해 96%에 도달했으며, 일부 경우 SNR이 2 dB 미만임에도 불구하고.
• MTurk를 통한 204명의 참가자를 대상으로 한 인간 사용자 연구에서 CommanderSong 명령은 인간에게 명령으로 식별되지 않았습니다.
• 이 방법은 블랙박스 설정에서 주류 ASR 시스템(iFLYTEK)으로의 전이 가능성을 보였고 YouTube/라디오를 통한 확산 가능성을 시사했습니다.