[논문 리뷰] Crafting Adversarial Examples For Speech Paralinguistics Applications

Yuan Gong, Christian Poellabauer|arXiv (Cornell University)|2017. 11. 09.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 85

한 줄 요약

이 연구는 엔드투엔드 음성 파형에 직접 적대적 섭동을 생성하는 엔드투엔드 방법을 제시하여 최소한의 음향 왜곡으로 엔드투엔드 음성 파랄링구스틱 모델의 오분류를 유도한다.

ABSTRACT

Computational paralinguistic analysis is increasingly being used in a wide range of cyber applications, including security-sensitive applications such as speaker verification, deceptive speech detection, and medical diagnostics. While state-of-the-art machine learning techniques, such as deep neural networks, can provide robust and accurate speech analysis, they are susceptible to adversarial attacks. In this work, we propose an end-to-end scheme to generate adversarial examples for computational paralinguistic applications by perturbing directly the raw waveform of an audio recording rather than specific acoustic features. Our experiments show that the proposed adversarial perturbation can lead to a significant performance drop of state-of-the-art deep neural networks, while only minimally impairing the audio quality.

연구 동기 및 목표

• 적대적 섭동이 원시 음성 파형에 직접 추가되어 파랄링구스틱 분류 작업을 방해할 수 있음을 시연한다.
• 손실이 있는 특성 재구성을 피하는 엔드투엔드 적대적 공격 체계를 제안한다.
• RNN 기반 모델의 기울기 소실 문제를 해결하기 위해 대체 CNN 기반 아키텍처(WaveCNN)를 채택한다.
• 섭동이 서로 다른 파랄링구스틱 작업과 모델에 일반화됨을 보인다.
• 적대적 오디오의 공격 효과성과 지각적 자연스러움에 대한 실증 분석을 제공한다.

제안 방법

• 적대적 섭동을 원시 파형 x에 섭동 η를 적용하여 f(x+η) ≠ f(x)가 되도록 제약된 최적화 문제로 형식화한다.
• 경사 기반 FGSM을 사용하여 η = ε sign(∇_x J(θ, x, y))를 계산한다.
• RNN의 기울기 소실 문제를 해결하기 위해 순환 신경망을 피드포워드 대체(WaveCNN)로 대체한다.
• 오디오를 40 ms 프레임으로 처리하고 프런트 엔드 CNN을 적용한 뒤 백 엔드 CNN(WaveCNN)을 통해 엔드투엔드 공격 실행 가능성을 확보한다.
• 엔드투엔드 파형 섭동을 특징 수준 및 MFCC 기반 공격과 비교하여 지각 왜곡을 줄였음을 강조한다.
• WaveCNN용으로 생성된 섭동이 WaveRNN 유사 모델에도 영향을 미친다는 것을 보여 공격 전달 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 적대적 섭동이 원시 오디오 파형에 직접 효과적으로 설계되어 파랄링구스틱 분류기를 속일 수 있는가?
• RQ2 엔드투엔드 섭동 접근법이 특징 재구성으로 인한 손실을 피하면서도 모델 성능을 저하시킬 수 있는가?
• RQ3 CNN 기반 대체 모델(WaveCNN)이 경사 기반 오디오 공격에서 기울기 소실 문제를 완화할 수 있는가?
• RQ4 적대적 예제가 다양한 엔드투엔드 파랄링구스틱 아키텍처와 작업으로 전달되는가(성별, 감정, 화자 인식)?

주요 결과

• 적대적 섭동은 modest한 ε 값에서 성별, 감정, 화자 인식 작업 전반에 걸쳐 오류율을 크게 증가시킨다.
• 대체 모델인 WaveCNN에서의 공격은 WaveRNN 유사 모델로 일반화되며 ε에 따라 다른 오류율 거동을 보인다.
• 엔드투엔드 파형 섭동은 MFCC 기반 재구성에 비해 지각적으로 최소한의 왜곡을 나타내며 자연스러운 음성을 유지한다.
• 인간 청취 시험에서 제안된 적대 샘플은 감정 및 성별 작업에서 인간에게 자연스럽게 인식되고 올바르게 분류된다.
• 섭동 스펙트럼은 넓어서 간단한 필터링으로 공격을 제거하기 어렵다.
• 특정 ε 수준에서 섭동이 거의 무작위 성능을 유발할 수 있어 공격의 강력한 영향을 시사한다.