[논문 리뷰] Universal adversarial examples in speech command classification

Jon Vadillo, Roberto Santana|arXiv (Cornell University)|2019. 11. 22.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 23

한 줄 요약

이 논문은 음성 명령 분류 분야에서 유니버설 적대적 편향을 처음으로 생성했으며, 다양한 모델 간에 높은 전이성을 확보했다. 새로운 유니버설리티 수준의 분류 체계와 철저한 왜곡 평가 프레임워크를 제안하여 기존의 음성 편향 평가 지표가 비음성 영역에서의 검출 가능한 왜곡을 감지하지 못해 공격 평가의 현실성에 손상을 주는 것으로 드러났다.

ABSTRACT

Adversarial examples are inputs intentionally perturbed with the aim of forcing a machine learning model to produce a wrong prediction, while the changes are not easily detectable by a human. Although this topic has been intensively studied in the image domain, classification tasks in the audio domain have received less attention. In this paper we address the existence of universal perturbations for speech command classification. We provide evidence that universal attacks can be generated for speech command classification tasks, which are able to generalize across different models to a significant extent. Additionally, a novel analytical framework is proposed for the evaluation of universal perturbations under different levels of universality, demonstrating that the feasibility of generating effective perturbations decreases as the universality level increases. Finally, we propose a more detailed and rigorous framework to measure the amount of distortion introduced by the perturbations, demonstrating that the methods employed by convention are not realistic in audio-based problems.

연구 동기 및 목표

• 이미지 기반 작업에 비해 연구가 부족한 분야인 음성 명령 분류에서 유니버설 적대적 편향 생성의 가능성을 탐구하는 것.
• 타깃 클래스 수에 따라 정의되는 다양한 수준의 유니버설리티를 고려한 유니버설 편향 평가를 위한 신규 분석 프레임워크를 제안하는 것.
• 음성 신호를 음성 및 배경 성분으로 분할함으로써 더 현실적인 평가 방법을 도입함으로써 기존의 음성 적대적 공격에서의 왜곡 지표에 도전하는 것.
• 기존의 평가 방식이 음성 신호의 비음성 영역에서 특히 편향의 인지 불가능성을 과도하게 평가하고 있음을 입증하는 것.
• 현재 평가 방법론의 핵심적 한계를 규명함으로써 향후 더 강력하고 검출이 어려운 유니버설 공격에 대한 연구 기반을 마련하는 것.

제안 방법

• 타깃 클래스 수에 따라 유니버설리티 수준을 체계적으로 평가할 수 있도록 N-클래스 유니버설리티 분류 체계를 제안한다.
• 데이터셋 전반에서 오분류를 최대화하고 청각적 왜곡을 최소화하는 방식으로 유니버설 편향을 생성하기 위해 기울기 기반 최적화 방법을 사용한다.
• 음성 및 배경 오디오 성분 별로 별도로 신호 왜곡을 측정하는 새로운 왜곡 평가 프레임워크를 도입하며, dB_x,max(v) 및 dB_x,mean(v) 등의 지표를 활용한다.
• 편향의 청각적 현실성을 검증하기 위해 이 왜곡 지표를 적용하여 음성 명령이 포함된 영역와 배경 잡음 영역을 구분한다.
• 표준 음성 명령 데이터셋(예: Google Speech Commands)과 다양한 DNN 아키텍처를 사용하여 모델 간 전이성과 유니버설리티를 테스트한다.
• 검증 세트를 활용해 다양한 유니버설리티 수준에서의 왜곡 수준을 평가하며, 결과는 각 오디오 세그먼트 유형별로 시각화한다.

실험 결과

연구 질문

• RQ1 음성 명령 분류 작업에 대해 유니버설 적대적 편향을 효과적으로 생성할 수 있는가?
• RQ2 타깃 클래스 수에 따라 정의되는 유니버설리티 수준이 유니버설 공격의 가능성과 효율성에 어떤 영향을 미치는가?
• RQ3 다양한 음성 명령 분류 모델 간에 유니버설 적대적 편향의 전이성이 어느 정도 이루어지는가?
• RQ4 기존의 음성 적대적 공격에서의 왜곡 지표는 청각적 인지 불가능성을 현실적으로 평가하는 데 적합한가?
• RQ5 더 세분화된 성분 기반 왜곡 평가 방법을 통해 음성 신호의 비음성 영역에서 검출 가능한 아티팩트를 드러낼 수 있는가?

주요 결과

• 유니버설 적대적 편향은 음성 명령 분류 분야에서 성공적으로 생성되었으며, 이는 음성 영역에서의 공격 가능성을 입증한다.
• 유니버설리티 수준이 높아질수록 유니버설 편향의 효과성이 감소함을 확인하여 범위 확대와 공격 성공률 사이의 상충 관계를 확인했다.
• 새로운 모델에 대해 효과성이 감소하더라도, 다양한 DNN 아키텍처 간에 훌륭한 전이성이 관찰되었다.
• 기존의 왜곡 지표는 비음성(배경) 영역에서의 심각한 왜곡을 감지하지 못해 편향의 인지 불가능성을 과도하게 평가하고 있음을 확인했다.
• 제안된 성분 기반 왜곡 평가를 통해 배경 영역에서 대부분의 샘플에서 -32 dB 이상의 왜곡이 초과됨을 확인하여 음성 명령 외부에서의 검출 가능성을 입증했다.
• 결과적으로, 더 철저하고 신호 성분 기반의 평가 프레임워크가 필요하며, 이는 음성 적대적 공격 평가의 현실성을 확보하기 위한 핵심 요소임을 시사한다.