[논문 리뷰] Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition

Krishan Rajaratnam, Kunal Shah외 1명|arXiv (Cornell University)|2018. 09. 11.

Digital Media Forensic Detection인용 수 19

한 줄 요약

이 논문은 자동 음성 인식 시스템에서 적대적 예제를 탐지하기 위해 고립된 및 앙상블 형태의 오디오 전처리 기법을 제안한다. 압축, 음성 코딩, 필터링 및 오디오 패닝을 조합함으로써, 이 방법은 Speech Commands Model을 대상으로 한 적대적 입력을 탐지할 때 정밀도 93.5%와 재현율 91.2%를 달성하며, 유전적 공격에 대한 강력한 방어를 보여준다.

ABSTRACT

An adversarial attack is an exploitative process in which minute alterations are made to natural inputs, causing the inputs to be misclassified by neural models. In the field of speech recognition, this has become an issue of increasing significance. Although adversarial attacks were originally introduced in computer vision, they have since infiltrated the realm of speech recognition. In 2017, a genetic attack was shown to be quite potent against the Speech Commands Model. Limited-vocabulary speech classifiers, such as the Speech Commands Model, are used in a variety of applications, particularly in telephony; as such, adversarial examples produced by this attack pose as a major security threat. This paper explores various methods of detecting these adversarial examples with combinations of audio preprocessing. One particular combined defense incorporating compressions, speech coding, filtering, and audio panning was shown to be quite effective against the attack on the Speech Commands Model, detecting audio adversarial examples with 93.5% precision and 91.2% recall.

연구 동기 및 목표

• 자신의 어휘 범위가 제한된 모델인 Speech Commands Model과 같은 자동 음성 인식 시스템에 대한 적대적 공격의 증가하는 위협에 대응하기 위해.
• 오디오 전처리 기법이 적대적 예제 탐지에 효과적인 수단이 될 수 있는지 조사하기 위해.
• 더 높은 탐지 내성 확보를 위해 고립된 전처리 방법과 앙상블 조합의 성능을 평가하기 위해.
• 실시간 음성 인식 파이프라인과 호환되며 계산 비용이 낮은 방어 전략을 개발하기 위해.

제안 방법

• 저자는 입력 오디오 신호에 대해 오디오 압축, 음성 코딩(예: AMR), 밴드패스 필터링, 스테레오 패닝 등의 고립된 전처리 기법을 적용한다.
• 저자는 Speech Commands Model을 대상으로 유전적 공격를 통해 생성된 적대적 예제를 탐지하는 데 있어 각 개별 방법의 효과를 평가한다.
• 앙상블 방법은 압축, 음성 코딩, 필터링, 패닝 등의 여러 전처리 기법을 하나의 탐지 파이프라인으로 통합한다.
• 전처리 후 모델의 신뢰도 점수 변화를 기반으로 입력을 정상 또는 적대적이라고 분류하는 탐지 시스템을 구축한다.
• 이 방법은 적대적 편향이 신호 변환에 민감한 반면 자연 음성은 변환에 대해 강건하다는 원리를 기반으로 한다.
• 최종 탐지 모델은 전처리 후 모델 출력 신뢰도에 기반한 임계값 기반 결정 규칙을 사용한다.

실험 결과

연구 질문

• RQ1 고립된 오디오 전처리 기법이 자동 음성 인식 시스템에서 적대적 예제를 효과적으로 탐지할 수 있는가?
• RQ2 개별 전처리 기법의 성능는 적대적 입력 탐지에서 어떻게 비교되는가?
• RQ3 여러 전처리 기법을 앙상블 방식으로 조합하면 고립된 방법보다 탐지 정확도가 향상되는가?
• RQ4 일반적인 오디오 신호 변환을 겪은 후에도 적대적 예제가 얼마나 효과를 유지하는가?
• RQ5 제안된 방법은 자연 음성의 인식 정확도를 유지하면서도 높은 탐지 성능를 유지를 할 수 있는가?

주요 결과

• 압축, 음성 코딩, 필터링 및 오디오 패닝을 조합한 앙상블 방법은 적대적 예제 탐지에서 정밀도 93.5%와 재현율 91.2%를 달성했다.
• 개별 전처리 기법은 각각 다른 수준의 효과성을 보였으며, 음성 코딩과 필터링이 뛰어난 탐지 능력을 보였다.
• 앙상블 접근법은 고립된 방법보다 우수한 성능를 보였으며, 다양한 신호 변환을 조합함으로써 상호 보완적 효과가 있음을 시사했다.
• 이 방법은 유전적 공격를 통해 생성된 여러 적대적 예제에 대해 높은 탐지 성능를 유지했다.
• 방어 메커니즘은 자연 음성의 인식 정확도를 유지하여 정상 입력에 대한 영향을 최소화했다.