[논문 리뷰] Replay attack spoofing detection system using replay noise by multi-task learning.

Hye-jin Shim, Jee-weon Jung외 3명|arXiv (Cornell University)|2018. 08. 29.

Speech Recognition and Synthesis인용 수 1

한 줄 요약

이 논문은 자동 화자 검증에서 재생 공격 스포핑 탐지에 대한 다중 작업 학습 프레임워크를 제안하며, 재생 장치, 녹음 환경, 녹음 장치로부터 유도된 재생 노이즈 분류를 활용한다. 이 시스템은 노이즈 및 스포핑 클래스에서의 공동 학습을 통해 ASVspoof2017 데이터셋에서 스포핑 탐지 성능을 30% 상대적으로 향상시킨다.

ABSTRACT

In this paper, we propose a replay attack spoofing detection system for automatic speaker verification using multitask learning of noise classes. We define the noise that is caused by the replay attack as replay noise. We explore the effectiveness of training a deep neural network simultaneously for replay attack spoofing detection and replay noise classification. The multi-task learning includes classifying the noise of playback devices, recording environments, and recording devices as well as the spoofing detection. Each of the three types of the noise classes also includes a genuine class. The experiment results on the ASVspoof2017 datasets demonstrate that the performance of our proposed system is improved by 30% relatively on the evaluation set.

연구 동기 및 목표

• 자동 화자 검증 시스템의 재생 공격에 대한 취약성을 해결하기 위해.
• 재생 공격 중 유도되는 고유한 노이즈 특성 모델링을 통해 스포핑 탐지 성능을 향상시키기 위해.
• 스포핑 탐지와 함께 여러 노이즈 관련 분류 작업을 공동으로 학습함으로써 유의미한 이점이 있는지 탐색하기 위해.
• 재생 장치, 녹음 환경, 녹음 장치에서 유래한 재생 노이즈를 분류하며, 진짜 화자 음성도 하나의 클래스로 포함하기 위해.

제안 방법

• 재생 공격 중 유도되는 음향 왜곡으로서 재생 노이즈를 정의하며, 진짜 화자 음성 신호와 구별된다.
• 스포핑 탐지 및 세 가지 노이즈 분류 작업(재생 장치, 녹음 환경, 녹음 장치)을 동시에 학습하는 딥 네ural 네트워크를 설계한다.
• 각 노이즈 카테고리에 '진짜' 클래스를 포함시켜 자연 음성과 스포핑 신호를 구분한다.
• 스포핑 탐지 및 노이즈 분류 작업 간 표현을 공유하기 위해 다중 작업 학습을 사용하여 모델을 훈련시킨다.
• ASVspoof2017 데이터셋을 사용해 훈련 및 평가하며, 다양한 재생 공격 시나리오를 활용한다.
• 각 분류 목표에 대해 작업별 헤드를 갖춘 공통 백본을 사용해 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 재생 노이즈 분류와 스포핑 탐지의 공동 학습이 탐지 성능 향상에 기여하는가?
• RQ2 재생 장치, 녹음 환경, 녹음 장치에서 유래한 노이즈 분류가 스포핑된 신호와 진짜 음성을 구분하는 데 얼마나 효과적인가?
• RQ3 여러 종류의 노이즈 클래스를 통합함으로써 스포핑 탐지의 강건성이 향상되는가?
• RQ4 단일 작업 기반 베이스라인 대비 다중 작업 학습 접근법의 상대적 성능 향상은 얼마인가?

주요 결과

• 제안된 다중 작업 학습 시스템은 ASVspoof2017 평가 세트에서 스포핑 탐지 성능을 30% 상대적으로 향상시켰다.
• 재생 노이즈 및 스포핑 탐지 작업의 공동 학습은 단일 작업 모델 대비 더 우수한 일반화 성능을 보였다.
• 각 노이즈 카테고리에 진짜 음성 클래스를 포함시킴으로써 모델이 자연 음성과 스포핑 신호를 더 잘 구분할 수 있게 되었다.
• 재생 장치, 녹음 환경, 녹음 장치에서 온 노이즈의 분류가 더 강건한 스포핑 탐지에 기여하였다.
• 다양한 노이즈 및 스포핑 작업 간 공유 표현을 활용함으로써 시스템은 더 높은 탐지 정확도를 달성하였다.