[논문 리뷰] Adversarial Attacks on Speech Recognition Systems for Mission-Critical Applications: A Survey

Ngoc Dung Huynh, Mohamed Reda Bouadjenek외 5명|arXiv (Cornell University)|2022. 02. 22.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 종합 검토는 임무 핵심 응용 분야에서 음성 인식 시스템을 대상으로 한 적대적 공격을 조사하며, FGSM 및 최적화 기반 기법과 같은 공격 방법과 적대적 훈련 및 탐지와 같은 방어 조치를 분석한다. 실제 적용에서의 주요 과제로는 공기 중 공격 및 다중 입력 특징 취약성 등을 밝히며, 강력한 시스템 설계를 위한 실행 가능한 방어 권고 사항을 제시한다.

ABSTRACT

A Machine-Critical Application is a system that is fundamentally necessary to the success of specific and sensitive operations such as search and recovery, rescue, military, and emergency management actions. Recent advances in Machine Learning, Natural Language Processing, voice recognition, and speech processing technologies have naturally allowed the development and deployment of speech-based conversational interfaces to interact with various machine-critical applications. While these conversational interfaces have allowed users to give voice commands to carry out strategic and critical activities, their robustness to adversarial attacks remains uncertain and unclear. Indeed, Adversarial Artificial Intelligence (AI) which refers to a set of techniques that attempt to fool machine learning models with deceptive data, is a growing threat in the AI and machine learning research community, in particular for machine-critical applications. The most common reason of adversarial attacks is to cause a malfunction in a machine learning model. An adversarial attack might entail presenting a model with inaccurate or fabricated samples as it's training data, or introducing maliciously designed data to deceive an already trained model. While focusing on speech recognition for machine-critical applications, in this paper, we first review existing speech recognition techniques, then, we investigate the effectiveness of adversarial attacks and defenses against these systems, before outlining research challenges, defense recommendations, and future work. This paper is expected to serve researchers and practitioners as a reference to help them in understanding the challenges, position themselves and, ultimately, help them to improve existing models of speech recognition for mission-critical applications. Keywords: Mission-Critical Applications, Adversarial AI, Speech Recognition Systems.

연구 동기 및 목표

• 임무 핵심 응용 분야에서 음성 인식 시스템의 적대적 공격에 대한 취약성을 분석하기 위해.
• 기존 적대적 공격 기법—예를 들어 FGSM 및 최적화 기반 방법—이 음성 인식 모델에 미치는 효과를 평가하기 위해.
• 반응형 및 능동형 방어 조치를 포함한 현재의 방어 전략을 조사하고 그 제한 사항을 평가하기 위해.
• 공기 중 공격 및 모델 간 전이성과 같은 열린 연구 과제를 특정하기 위해.
• 실제 임무 핵심 구현에서의 강건성 향상을 위한 실행 가능한 권고 사항을 제공하기 위해.

제안 방법

• HMM 및 CTC, 주목적 기반 네트워크와 같은 엔드 투 엔드 딥 러닝 모델을 포함한 음성 인식 기법을 체계적으로 검토하였다.
• FGSM을 통한 편향 생성 및 Carlini와 Wagner의 방법과 같은 최적화 기반 접근법을 포함한 적대적 공격 방법을 조사하였다.
• 원시 웨이브포트, 스펙트로그램, MFCC와 같은 다양한 입력 표현 방식에 대한 공격 평가를 통해 특징 기반 취약성을 분석하였다.
• 음향 실내 시뮬레이터와 실제 전파 모델을 사용하여 공기 중 공격의 가능성을 분석하였다.
• 적대적 훈련, 네트워크 검증, GAN 기반 노이즈 제거를 포함한 방어 메커니즘을 검토하였다.
• 반응형(탐지 기반) 및 능동형(강건화 기반) 카테고리로 방어 조치를 분류하고 그 강점과 약점을 평가하였다.

실험 결과

연구 질문

• RQ1 기존의 적대적 공격 기법—예를 들어 FGSM 및 최적화 기반 공격—은 임무 핵심 환경에서 음성 인식 시스템에 얼마나 효과적인가?
• RQ2 실제 공기 중 조건에서, 특히 다양한 모델 간에 적대적 예제의 전이성이 어느 정도 이루어지는가?
• RQ3 웨이브포트, 스펙트로그램, MFCC와 같은 다양한 입력 표현 방식은 적대적 공격의 성공률에 어떤 영향을 미치는가?
• RQ4 백색 상자 및 저편향 적대적 예제를 처리하는 데 있어 현재의 방어 전략의 주요 제한 사항은 무엇인가?
• RQ5 실제 환경 제약 조건을 우회할 수 있는 물리적으로 실현 가능한 공기 중 적대적 예제를 생성하는 데 있어 열린 과제는 무엇인가?

주요 결과

• 적대적 공격는 작은 편향조차도 음성 인식 성능을 심각하게 악화시키며, 예를 들어 소음 주입으로 환자가 잘못 ‘모든 것이 잘 되었다’고 보고하는 등의 시나리오에서 그 영향을 입증하였다.
• 공기 중 적대적 공격는 여전히 주요 과제로 남아 있으며, 대부분의 이전 방법은 조용한 배경 등의 이상적인 조건에 의존하여 실제 적용 가능성에 한계가 있다.
• 다양한 아키텍처 간에 적대적 예제의 전이성이 관찰되지만 보장되지는 않으며, 이는 깊이 있는 이론적 이해가 필요함을 시사한다.
• 적대적 훈련 및 GAN 기반 노이즈 제거와 같은 방어 조치는 가능성은 있으나, 백색 상자 또는 저편향 공격에는 종종 효과가 없다.
• 네트워크 검증 및 앙상블 탐지와 같은 반응형 방어 조치는 효과적이지만 전이성 및 편향 특성에 민감하다.
• 웨이브포트 외 특징(예: 스펙트로그램, MFCC)을 대상으로 한 타겟 공격는 여전히 탐색되지 않아 특징 기반 취약성에 대한 이해의 격차가 있음을 시사한다.