[논문 리뷰] Perceptual Based Adversarial Audio Attacks

Joseph Szurley, J. Zico Kolter|arXiv (Cornell University)|2019. 06. 14.

Adversarial Robustness in Machine LearningComputer Science참고 문헌 25인용 수 18

한 줄 요약

이 논문은 청각적 마스킹을 활용하여 시간 도메인에서 인식 불가능한 변형을 생성하는, 인지적으로 기반을 두고 물리적으로 실현 가능한 대비 음성 공격을 제안한다. PESQ를 사용한 청각적 품질 최적화와 합성된 실내 인력 응답을 통한 강건성 확보를 통해, 언어 모델 디코더를 사용한 실외 테스트에서 조건이 열악한 신호 대 잡음비(SNR) 조건에서도 0%의 WER와 CER를 달성한다.

ABSTRACT

Recent work has shown the possibility of adversarial attacks on automatic speechrecognition (ASR) systems. However, in the vast majority of work in this area, theattacks have been executed only in the digital space, or have involved short phrasesand static room settings. In this paper, we demonstrate a physically realizableaudio adversarial attack. We base our approach specifically on a psychoacoustic-property-based loss function, and automated generation of room impulse responses, to create adversarial attacks that are robust when played over a speaker in multiple environments. We show that such attacks are possible even while being virtually imperceptible to listeners.

연구 동기 및 목표

• 사람의 청취자에게 인식 불가능하면서도 자동 음성 인식(ASR) 시스템을 속이는 물리적으로 실현 가능한 대비 음성 공격을 개발하는 것.
• 주로 주파수 도메인에서의 역전파에 의존하지 않고, 심리음향 마스킹 임계치를 대비 최적화 과정에 통합하여 청각적 왜곡을 감소시키는 것.
• 공격 생성 과정에서 합성된 실내 인력 응답을 통합하여 실외 조건에서의 대비 예제의 강건성을 확보하는 것.
• 주관적 청취 테스트에 의존하지 않고, PESQ 점수를 청각적 품질의 객관적 측정치로 사용하는 것.
• 다양한 신호 대 잡음비(SNR) 조건과 다중 화자 상황을 포함한 실제 물리 환경에서 공격를 평가하여 실세계 적용 가능성의 실증을 위한 것.

제안 방법

• 원본 음성의 주파수 도메인 표현에서 DFT 대칭성을 이용해 심리음향 마스킹 임계치를 추출함으로써 주파수 도메인에서의 불안정한 역전파를 피하면서 시간 도메인에서 대비 공격를 수립한다.
• l₂-노름 제약을 가진 최적화를 투영된 경사 하강법으로 구현하여, ASR 오분류를 극대화하면서도 청각적 왜곡을 최소화하는 대비 변형을 생성한다.
• 청각적 품질은 인간 청취 테스트의 대체 측정치로 사용되는 음성 품질 평가(Perceptual Evaluation of Speech Quality, PESQ) 점수를 통해 최적화한다.
• 실제 실외 전파 효과를 시뮬레이션하기 위해 공격 생성 과정에서 합성된 실내 인력 응답을 생성하고 적용함으로써 강건성을 향상시킨다.
• 다양한 신호 대 잡음비(SNR) 조건에서 오차율을 평가하기 위해 급진적 및 언어 모델 기반 ASR 디코더를 모두 사용하여 공격를 평가한다.
• 비반사성 환경과 다중 화자 상황(4인치의 화자 간 거리, 6인치의 마이크 간 거리 설정 포함)에서 방법의 물리적 강건성을 테스트하기 위해 검증을 수행한다.

실험 결과

연구 질문

• RQ1 심리음향 원리를 활용하여 물리적으로 실현 가능하고 청취자에게 인식 불가능한 대비 음성 공격를 개발할 수 있는가?
• RQ2 PESQ와 같은 청각적 품질 측정 지표를 통합함으로써 대비 음성 공격의 효과성과 현실성은 어떻게 향상되는가?
• RQ3 합성된 실내 인력 응답은 실외 ASR 공격에서 대비 예제의 강건성을 어느 정도 향상시키는가?
• RQ4 다른 ASR 디코딩 전략(급진적 대비 언어 모델)은 다양한 SNR 조건에서 공격 성공률에 어떤 영향을 미치는가?
• RQ5 청각적으로 최적화된 대비 예제는 클리핑 및 경로 손실과 같은 물리적 왜곡 조건에서도 높은 공격 성공률를 유지할 수 있는가?

주요 결과

• 언어 모델 디코더를 사용한 두 명의 화자 존재하는 실외 환경에서 평균 SNR 66.7 dBA 조건에서 4회의 시험 중 3회에서 단어 오류율(WER)이 0%이고 문자 오류율(CER)이 0%를 기록했다.
• SNR 60–70 dBA 조건에서 언어 모델 디코더는 WER=4.0, CER=2.4를 기록했고, 급진적 디코더는 WER=3.0, CER=2.25를 기록하여 언어 모델의 도입이 강건성을 향상시켰음을 보여주었다.
• 공격는 대비 변형에도 불구하고 높은 청각적 품질을 유지했으며, PESQ 점수는 음성 품질 향상을 시사하여 심리음향 손실의 효과성을 확인했다.
• 고 SNR 조건에서 신호 진폭이 마이크로폰 한계를 초과해 클리핑이 발생함에 따라 WER와 CER가 크게 증가했으며, 이는 물리적 구현에서 진폭 제어의 중요성을 강조했다.
• 이 방법은 인식 불가능하고 다양한 물리 환경(비반사성 실내, 다중 화자 상황 포함)에서 강건한 대비 예제를 성공적으로 생성했다.
• 공격는 물리 채널 효과에 대해 강력한 일반화 성능를 보였으며, 화자-마이크 간 거리 증가에 따라 SNR이 감소함에 따라 성능이 안정적으로 유지되었다.