[논문 리뷰] Nonsense Attacks on Google Assistant

Mary Bispham, Ioannis Agrafiotis외 1명|arXiv (Cornell University)|2018. 08. 06.

User Authentication and Security Systems참고 문헌 10인용 수 6

한 줄 요약

이 논문은 인간에게 의미 없이 들리는 단어 조합이 음성 인식 시스템의 음소 유사성으로 인해 정상적인 음성 명령어로 오인되어 Google Assistant가 악성 명령어를 실행하게 할 수 있음을 입증한다. 공격은 음성 인식 시스템이 의미 있는 음소 조합과 의미 없는 음소 조합을 구분하지 못하는 틈을 노리는 것으로, 20명의 인간 피험자 중 17명이 악성 명령어를 인식하지 못했음에도 불구하고 Assistant가 성공적으로 명령을 실행하는 것을 보여준다.

ABSTRACT

This paper presents a novel attack on voice-controlled digital assistants using nonsensical word sequences. We present the results of experimental work which demonstrates that it is possible for malicious actors to gain covert access to a voice-controlled system by hiding commands in apparently nonsensical sounds of which the meaning is opaque to humans. Several instances of nonsensical word sequences were identified which triggered a target command in a voice-controlled digital assistant, but which were incomprehensible to humans, as shown in tests with human experimental subjects. Our work confirms the potential for hiding malicious voice commands to voice-controlled digital assistants or other speech-controlled devices in speech sounds which are perceived by humans as nonsensical.

연구 동기 및 목표

• 의미 없는 단어 발음이 인간에게는 이해할 수 없지만 기계에는 기능적으로 작동하는 음성 명령어로 사용될 수 있는지 여부를 조사하기 위해 Google Assistant와 같은 음성 제어 디지털 어시스턴트가 악성 명령어로 조작될 수 있는지 탐구한다.
• 의미 없는 문맥 없이 음소 유사성을 악용하는 악성 입력이 음성 인식 시스템에 미치는 취약성을 탐색한다.
• 의미 없는 음소 조합에 대해 인간의 이해 능력과 기계의 해석 간의 인지적 차이를 평가한다.
• 비유적 또는 음소적으로 유사한 의미 없는 음절이 음성 인터페이스에서 암시장 공격 벡터로 사용될 수 있는지 평가한다.
• 비어 있는 어휘적, 의미 없는 입력을 탐지하지 못하는 자연어 이해 및 음성 인식 시스템의 설계 결함을 규명한다.

제안 방법

• Google Assistant가 인식하는 목표 명령어와 음소적으로 유사하지만 의미 없는 단어 발음을 사용해 악성 명령어를 생성하였다.
• 직접 입력 및 무선 전송 방식을 통해 제어된 오디오 재생을 통해 Google Assistant의 반응을 테스트하였다.
• 20명의 인간 참가자를 대상으로 악성 명령어의 인지 가능성을 평가하기 위해 온라인 실험을 실시하였다.
• 참가자의 참여도와 전사 결과의 신뢰성을 검증하기 위해 주로 '안녕하세요, 어떻게 지내세요?' 등의 주의 검사 문장을 사용하였다.
• 참가자로부터 수집한 전사 결과를 분석하여 의미 없는 소리에 대해 그들이 어떤 의미를 인식했는지 파악하였다.
• 기계 전사 결과(구글 어시스턴트에서 생성)와 인간 전사 결과를 비교하여 시스템과 인간 간의 해석 차이를 규명하였다.

실험 결과

연구 질문

• RQ1 의미 없는 단어 조합이 정상 명령어와 음소적으로 유사할 경우 Google Assistant가 이를 실행할 수 있는가?
• RQ2 의미 없는 단어 발음이 Google Assistant의 명령어를 유발할 때 인간 청취자는 그 소리에 대해 얼마나 많은 의미를 인지할 수 있는가?
• RQ3 Google Assistant의 음성 인식 및 자연어 이해 시스템은 의미 없는 음소 조합을 인간의 인지와 어떻게 다르게 해석하는가?
• RQ4 의미 없는 음절에 특정한 음소적 특성이나 유희적 음운 구조가 존재할 경우, 이들이 유효한 명령어로 오해될 가능성이 높아지는가?
• RQ5 기계가 음성 입력에서 '의미'와 '의미 없는 것'을 구분하지 못하는 능력 부족이 악용 가능한 보안 취약점을 초래하는가?

주요 결과

• 17명의 유효한 인간 참가자 중 누구도 악성 명령어를 정상적인 Google Assistant 명령어로 인식하지 못했으며, 그들 명령어가 성공적으로 실행된 사실을 인지하지 못했다.
• 8명의 참가자는 의미 없는 소리에 대해 전혀 의미를 느끼지 못했고, 나머지 참가자들은 관련 없는 실제 단어나 외국어 문장으로 전사하였다.
• 한 참가자는 의미 없는 명령어를 'hurn glights grew'로 전사하여 의미 없는 음절을 음소적으로 유사하게 해석한 사례가 있었다.
• Google Assistant는 의미 없는 입력에도 불구하고 목표 명령어(예: 'turn on light')를 성공적으로 실행하였다. 이는 전사 결과가 목표 명령어와 다를 경우에도 마찬가지로 적용되었다.
• 기계는 의미적으로나 문법적으로 유사한 전사 결과(예: 'switch on the light' → 'turn on light')뿐 아니라, 의미나 문법적으로 다를 수 있는 전사 결과(예: 'turns off the light' → 'turn off light')에도 명령어를 실행하였다.
• 의미 없는 입력은 항상 '의미 없는 것'으로 간주되지 않았고, 오히려 실제 단어나 어휘로 해석하려는 경향을 보이며, 이는 비어 있는 입력에 대한 의미 기반 기반의 결여를 드러낸다.