[논문 리뷰] A Study On Convolutional Neural Network Based End-To-End Replay Anti-Spoofing

Bhusan Chettri, Saumitra Mishra외 2명|arXiv (Cornell University)|2018. 05. 22.

Speech Recognition and Synthesis참고 문헌 1인용 수 9

한 줄 요약

이 논문은 자동 음성 검증에서 재생 재생 방지(anti-spoofing)를 위한 엔드 투 엔드 컨volution 신경망(CNN) 모델을 연구하며, ASVspoof 2017의 개발 세트와 평가 세트 간의 일반화 성능에 초점을 맞춘다. 개발 데이터에서 낮은 EER(~5%)를 달성했음에도 불구하고, 새롭게 제안된 약 5,000개의 파라미터를 가진 경량 CNN을 포함한 모든 테스트 아키텍처가 평가 세트에서 상당히 열 劣한 성능(EER >30%)을 보이며, 이는 중요한 데이터 분포 간 격리와 엔드 투 엔드 학습 하에서의 모델 일반화 어려움을 드러낸다.

ABSTRACT

The second Automatic Speaker Verification Spoofing and Countermeasures challenge (ASVspoof 2017) focused on "replay attack" detection. The best deep-learning systems to compete in ASVspoof 2017 used Convolutional Neural Networks (CNNs) as a feature extractor. In this paper, we study their performance in an end-to-end setting. We find that these architectures show poor generalization in the evaluation dataset, but find a compact architecture that shows good generalization on the development data. We demonstrate that for this dataset it is not easy to obtain a similar level of generalization on both the development and evaluation data. This leads to a variety of open questions about what the differences are in the data; why these are more evident in an end-to-end setting; and how these issues can be overcome by increasing the training data.

연구 동기 및 목표

• ASVspoof 2017 데이터셋에서 엔드 투 엔드 학습 설정 하에서 최신 기술 기반의 CNN 기반 재생 방지 시스템의 일반화 성능을 평가하는 것.
• 개발 세트와 평가 세트 간의 일반화에 영향을 주는 아키텍처 및 학습 설정 요소를 특정하는 것.
• 미래 평가 데이터에 대해 더 나은 일반화를 보이는 컴act하고 경량화된 CNN 아키텍처를 제안하는 것.
• 엔드 투 엔드 모델에서 개발 세트와 평가 세트 간 성능 격리의 근본 원인을 조사하는 것.

제안 방법

• ASVspoof 2017에서 상위 성능를 기록한 시스템을 그대로 재현하기 위해, 세 개의 컨볼루션 레이어와 두 개의 완전 연결 레이어를 가진 엔드 투 엔드 CNN 아키텍처를 사용한다.
• 1×9 컨볼루션 필터를 사용하고 스트라이드는 1×1로 설정하며, 각 컨볼루션 블록 이후에 3×3 맥스 풀링 레이어를 적용한다.
• 완전 연결 레이어의 입력에 50% 드롭아웃을 적용하고, 특징 학습을 위해 MFM 활성화 함수를 사용한다.
• 3초 길이의 오디오 세그먼트에 대해 단일 스펙트로그램 및 분할 스펙트로그램 표현(100×129)을 모두 사용하여 모델 성능을 평가한다.
• 일반화 최적화를 위해 활성화 함수(MFM, ReLU, ELU), 배치 크기(8, 16, 32, 64), 입력 표현 방식을 비교한다.
• 손상된 오디오 파일(T_1001658.wav 및 T_1000150.wav)을 제외한 ASVspoof 2017 데이터베이스 버전 1에서 모델을 학습한다.

실험 결과

연구 질문

• RQ1 왜 CNN 기반 엔드 투 엔드 모델은 ASVspoof 2017 챌린지에서 개발 세트에서는 잘 일반화되지만 평가 세트에서는 실패하는가?
• RQ2 엔드 투 엔드 모델에서 일반화 문제를 악화시키는 개발 세트와 평가 세트 간의 데이터 분포의 주요 차이점은 무엇인가?
• RQ3 활성화 함수, 배치 크기, 입력 스펙트로그램 표현 방식과 같은 아키텍처 선택이 모델 일반화에 어떤 영향을 미치는가?
• RQ4 경량 CNN 아키텍처가 더 큰, 더 복잡한 모델보다 개발 세트와 평가 세트 양쪽에서 더 나은 일반화를 달성할 수 있는가?

주요 결과

• 개발 세트에서 가장 뛰어난 성능을 보인 모델은 EER 4.98%를 기록했지만, 평가 세트에서는 EER가 33.11%로 상승하여 일반화 부족을 시사한다.
• MFM 대신 ReLU 활성화 함수를 사용하면 평가 세트 성능이 약간 향상되었으며(EER 31.70 vs. 33.11), 이는 MFM가 일반화에 최적은 아닐 수 있음을 시사한다.
• 배치 크기 32가 가장 우수한 일반화 성능을 보였고, 더 큰(64) 또는 더 작은(8, 16) 배치 크기는 양 세트에서 성능 저하를 초래했다.
• 분할 스펙트로그램 표현(3개의 1초 세그먼트)이 단일 스펙트로그램 표현보다 우수했으며, 개발 세트와 평가 세트 양쪽에서 EER을 약 1.5%p 감소시켰다.
• 약 5,000개의 파라미터를 가진 제안된 경량 CNN은 개발 데이터에서 EER 4.98%를 기록했지만, 평가 데이터에서는 30% 이상으로 상승하여 일반화 격리가 여전히 지속됨을 확인했다.
• 이 연구는 엔드 투 엔드 모델에서 일반화 부족의 주요 원인으로 개발 세트와 평가 세트 간의 상당한 데이터 분포 불일치를 특정했다.