[논문 리뷰] Deep Speaker Embeddings for Far-Field Speaker Recognition on Short Utterances

Aleksei Gusev, Vladimir Volokhov외 12명|arXiv (Cornell University)|2020. 02. 14.

Speech Recognition and Synthesis참고 문헌 33인용 수 5

한 줄 요약

이 논문은 잡음이 많고 반향이 심한 환경에서 짧은 발화로도 원거리 발화자 인식 성능을 햖스키기 위해 MFB 특징과 AM-Softmax 학습을 활용한 ResNet 기반의 딥 스피커 임베딩 시스템을 제안한다. 제안된 방법은 짧은 발화에서 상태의 기술(SOTA) 성능을 달성하여, VoxCeleb1에서 1초 발화 시 EER을 2.26%로 감소시키고, VOiCES에서 1초 발화 시 EER을 10.80%로 낮추었으며, x-vector 및 TDNN 기반 기준 모델보다 짧은 지속시간과 잡음이 많은 조건에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Speaker recognition systems based on deep speaker embeddings have achieved significant performance in controlled conditions according to the results obtained for early NIST SRE (Speaker Recognition Evaluation) datasets. From the practical point of view, taking into account the increased interest in virtual assistants (such as Amazon Alexa, Google Home, AppleSiri, etc.), speaker verification on short utterances in uncontrolled noisy environment conditions is one of the most challenging and highly demanded tasks. This paper presents approaches aimed to achieve two goals: a) improve the quality of far-field speaker verification systems in the presence of environmental noise, reverberation and b) reduce the system qualitydegradation for short utterances. For these purposes, we considered deep neural network architectures based on TDNN (TimeDelay Neural Network) and ResNet (Residual Neural Network) blocks. We experimented with state-of-the-art embedding extractors and their training procedures. Obtained results confirm that ResNet architectures outperform the standard x-vector approach in terms of speaker verification quality for both long-duration and short-duration utterances. We also investigate the impact of speech activity detector, different scoring models, adaptation and score normalization techniques. The experimental results are presented for publicly available data and verification protocols for the VoxCeleb1, VoxCeleb2, and VOiCES datasets.

연구 동기 및 목표

• 환경적 잡음, 반향, 짧은 발화 지속시간으로 인한 원거리 발화자 인식 성능 저하 문제를 해결하기 위해.
• 통제되지 않은 음향 조건에서 짧은 지속시간의 음성(1초, 2초, 5초)에 대해 스피커 임베딩 시스템의 강건성을 향상시키기 위해.
• 표준 x-vector(TDNN 기반) 시스템 대비 ResNet 아키텍처의 효과성을 짧은 발화 및 잡음이 많은 환경에서 평가하기 위해.
• 음성 활동 검출(VAD), 점수 모델, 점수 정규화와 같은 시스템 구성 요소를 최적화하여 성능 향상시키기 위해.
• 다양한 테스트 프로토콜을 갖춘 VoxCeleb1, VoxCeleb2, VOiCES와 같은 데이터셋 간 일반화 능력을 입증하기 위해.

제안 방법

• 고주파수 해상도(80밴드)의 MFB(Mel-Frequency Filterbank) 특징을 활용한 ResNet34 아키텍처를 도입하여 세밀한 스펙트럼 동적 특징을 포착한다.
• 임베딩 추출기의 학습에 각도 마진 소프트맥스(AM-Softmax) 손실 함수를 적용하여 클래스 간 간격을 증대시키고 분류 능력을 향상시킨다.
• 에너지 기반 VAD에 비해 잡음과 비음성 세그먼트에 더 강건한 U-Net 기반의 엔드 투 엔드 음성 활동 검출기(VAD)를 도입한다.
• 점수 편향을 줄이고 다양한 테스트 조건에서의 캘리브레이션을 향상시키기 위해 도메인 내 중심화 및 점수 정규화 기법을 적용한다.
• 최종 인식 결정을 위해 LDA/PLDA 적응 기반의 코사인 유사도(CS) 점수 백엔드를 사용한다.
• 표준화된 프로토콜을 사용하여 짧은 발화(1초, 2초, 5초)와 전체 길이 세그먼트를 대상으로 VoxCeleb1, VoxCeleb2, VOiCES 등 여러 데이터셋에서 학습 및 평가를 수행한다.

실험 결과

연구 질문

• RQ1 잡음이 많고 반향이 심한 원거리 환경에서 짧은 발화에 대해 ResNet 기반 스피커 임베딩 모델이 표준 x-vector(TDNN 기반) 시스템보다 EER 측면에서 우월한가?
• RQ2 짧은 지속시간 발화로 학습하는 것이 긴 테스트 세그먼트에서의 스피커 임베딩 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 에너지 기반 VAD에 비해 U-Net 기반 VAD가 잡음이 많은 원거리 환경에서 시스템의 강건성에 얼마나 기여하는가?
• RQ4 점수 정규화와 도메인 내 중심화 기법이 VOiCES와 같은 도전적인 데이터셋에서 최종 인식 성능에 기여하는 정도는 어느 정도인가?
• RQ5 다양한 손실 함수(예: AM-Softmax 대비 표준 소프트맥스)가 짧은 발화에서의 모델 일반화 및 성능에 어떤 영향을 미치는가?

주요 결과

• ResNet34-MFB80-AM-TrainData-IV 모델은 짧은 발화 프로토콜에서 VoxCeleb1의 1초 발화에서 EER이 2.26%를 기록하여 기준 ResNet34 모델(12.71% EER)보다 뚜렷한 성능 향상을 보였다.
• VOiCES(평가 세트)에서 ResNet34-MFB80-AM-TrainData-IV 시스템은 1초 발화에서 EER이 10.80%를 기록하여 동일 조건에서 x-vector 기준 모델(25.62% EER)을 뛰어넘었다.
• 1초 및 2초 발화로 학습함으로써 짧은 지속시간 테스트 성능 향상가 가능했지만, 전체 길이 발화에서는 약간의 성능 저하가 발생하여 도메인 특화 최적화의 상충 관계를 보였다.
• x-vector 시스템 대비 ResNet 기반 모델은 잡음과 반향에 더 강건했으며, 잡음이 많은 조건에서 짧은 발화에서 최대 50%의 EER 향상을 기록했다.
• U-Net 기반 VAD와 점수 정규화 기법이 저 SNR 및 원거리 환경에서 추가적인 성능 향상 기여를 하였다.
• 최고 성능을 기록한 시스템인 ResNet34-MFB80-AM-TrainData-IV는 VoxCeleb1, VoxCeleb2, VOiCES 등 모든 데이터셋에서 일관된 성능 향상을 보였으며, 제안된 아키텍처와 학습 전략의 효과성을 확인하였다.