[논문 리뷰] RawNet: Advanced end-to-end deep neural network using raw waveforms for text-independent speaker verification

Jee-weon Jung, Hee-Soo Heo외 3명|arXiv (Cornell University)|2019. 04. 17.

Speech Recognition and Synthesis참고 문헌 31인용 수 12

한 줄 요약

이 논문은 원시 파형을 직접 처리하는 엔드 투 엔드 딥 네ural 네트워크인 RawNet을 제안한다. 이는 개선된 CNN-GRU 아키텍처와 새로운 사전 훈련 방법, 추가 목적 함수를 통해 말투에 관계없이 화자 확인 성능을 향상시킨다. 이 시스템은 데이터 증강 없이도 VoxCeleb1에서 4.0%의 동등 오류률(EER)을 달성하여, 증강되지 않은 모델 중 최고 성능을 기록한다. 이는 원시 파형 모델링이 데이터 증강 없이도 기존의 x-vector 시스템을 능가할 수 있음을 보여준다.

ABSTRACT

Recently, direct modeling of raw waveforms using deep neural networks has been widely studied for a number of tasks in audio domains. In speaker verification, however, utilization of raw waveforms is in its preliminary phase, requiring further investigation. In this study, we explore end-to-end deep neural networks that input raw waveforms to improve various aspects: front-end speaker embedding extraction including model architecture, pre-training scheme, additional objective functions, and back-end classification. Adjustment of model architecture using a pre-training scheme can extract speaker embeddings, giving a significant improvement in performance. Additional objective functions simplify the process of extracting speaker embeddings by merging conventional two-phase processes: extracting utterance-level features such as i-vectors or x-vectors and the feature enhancement phase, e.g., linear discriminant analysis. Effective back-end classification models that suit the proposed speaker embedding are also explored. We propose an end-to-end system that comprises two deep neural networks, one front-end for utterance-level speaker embedding extraction and the other for back-end classification. Experiments conducted on the VoxCeleb1 dataset demonstrate that the proposed model achieves state-of-the-art performance among systems without data augmentation. The proposed system is also comparable to the state-of-the-art x-vector system that adopts data augmentation.

연구 동기 및 목표

• 수동으로 설계된 음성 특징을 거치지 않고 원시 파형을 직접 사용하는 엔드 투 엔드 화자 확인 시스템을 개발하는 것.
• 아키텍처 개선과 사전 훈련을 통해 원시 파형 기반 화자 임베딩 추출 성능을 향상시키는 것.
• 특징 향상과 임베딩 추출을 하나의 엔드 투 엔드 학습 과정으로 통합하여 별도의 i-vector/x-vector 파이프라인의 필요성을 제거하는 것.
• 제안된 화자 임베딩에 최적화된 백엔드 분류 모델을 평가하고 최적화하는 것.
• 데이터 증강 없이 VoxCeleb1에서 최고 성능을 달성하여 보다 단순하고 접근성이 높은 연구 워크플로우를 가능하게 하는 것.

제안 방법

• 프론트엔드는 리뷰즈 블록과 리 leaky ReLU 활성화 함수를 사용하며, 원시 파형에서 직접 발화 수준의 화자 임베딩을 추출하기 위해 GRU 레이어를 활용한다.
• 기존 연구의 다단계 훈련 방식을 대체하기 위해 과적합을 줄이고 일반화 성능을 향상시키기 위해 수정된 사전 훈련 방법을 도입한다.
• 추가 목적 함수를 통합하여 화자 임베딩 추출과 특징 향상 과정을 동시에 최적화함으로써, 기존의 두 단계를 하나의 과정으로 통합한다.
• 백엔드는 등록 및 테스트 임베딩의 요소별 곱셈(concat&mul)을 사용하는 DNN 분류기로 구성되며, PLDA 및 기타 DNN 기반 방법보다 우수한 성능을 보인다.
• 엔드 투 엔드 두 개의 DNN 파이프라인을 사용한다: 하나는 임베딩 추출을, 다른 하나는 분류를 전담한다. L2 정규화와 AMSGrad 최적화를 적용한다.
• 모델은 미니배치 크기가 102인 VoxCeleb1 데이터셋을 사용해 훈련되며, GRU 레이어에 순환 드롭아웃(0.3)과 $10^{-4}$의 웨이트 디케이를 적용한다.

실험 결과

연구 질문

• RQ1 원시 파형을 사용하는 엔드 투 엔드 딥 네럴 네트워크가 데이터 증강 없이도 말투에 관계없이 화자 확인에서 최고 성능을 달성할 수 있는가?
• RQ2 아키텍처 수정과 사전 훈련 방법이 원시 파형에서 추출된 화자 임베딩의 품질에 어떤 영향을 미치는가?
• RQ3 추가 목적 함수가 i-vector나 x-vector 처리와 같은 전통적인 특징 향상 단계를 효과적으로 대체할 수 있는가?
• RQ4 원시 파형 기반 화자 임베딩과 함께 사용할 때 어떤 백엔드 분류기 아키텍처가 가장 높은 성능을 낼 수 있는가?
• RQ5 기존의 x-vector 및 i-vector 시스템과 비교할 때, 제안된 시스템은 특히 내구성과 단순성 측면에서 어떤가?

주요 결과

• 제안된 RawNet 시스템은 VoxCeleb1 데이터셋에서 4.0%의 동등 오류률(EER)을 달성하여, 데이터 증강 없이도 최고 성능을 기록한다.
• 기본 모델인 CNN-LSTM 시스템 대비 EER을 46.0% 상대적으로 감소시켜 아키텍처 및 훈련 개선으로 인한 뚜렷한 성능 향상을 입증한다.
• 추가 목적 함수의 사용으로 모델이 암묵적으로 특징 향상을 수행할 수 있게 되어, 별도의 LDA 또는 i-vector 처리가 필요 없어졌다.
• 등록 및 테스트 임베딩의 요소별 곱셈을 계산하는 concat&mul 백엔드 분류기에서 EER 4.0%를 기록하며 가장 높은 성능을 보였다.
• 데이터 증강이 없는 x-vector 시스템조차도 RawNet이 더 뛰어난 성능을 보여, 원시 파형 모델링의 효과성을 입증한다.
• 기본 모델 대비 상대 오류율 감소(RER)가 44.8%로 나타나, 적절한 설계를 통해 직접 파형 모델링이 기존 파이프라인을 능가할 수 있음을 보여준다.