[논문 리뷰] HLT-NUS SUBMISSION FOR 2020 NIST Conversational Telephone Speech SRE

Rohan Kumar Das, Ruijie Tao외 1명|arXiv (Cornell University)|2021. 11. 12.

Speech Recognition and Synthesis참고 문헌 9인용 수 7

한 줄 요약

이 논문은 2020년 NIST 대화형 통화 음성 발화자 인식 평가에 HLT-NUS가 제출한 결과로, 다양한 다국어 코퍼스에서 훈련된 TDNN x-vector 및 ECAPA-TDNN 시스템의 융합을 제안한다. 도메인 적응된 PLDA와 적응형 s-norm이 성능을 향상시켰으며, 점수 수준 융합을 통해 SRE20 CTS 진행 세트에서 minDCF를 0.190으로 감소시켰다.

ABSTRACT

This work provides a brief description of Human Language Technology (HLT) Laboratory, National University of Singapore (NUS) system submission for 2020 NIST conversational telephone speech (CTS) speaker recognition evaluation (SRE). The challenge focuses on evaluation under CTS data containing multilingual speech. The systems developed at HLT-NUS consider time-delay neural network (TDNN) x-vector and ECAPA-TDNN systems. We also perform domain adaption of probabilistic linear discriminant analysis (PLDA) model and adaptive s-norm on our systems. The score level fusion of TDNN x-vector and ECAPA-TDNN systems is carried out, which improves the final system performance of our submission to 2020 NIST CTS SRE.

연구 동기 및 목표

• 오픈 훈련 조건 하에서 다국어 대화형 통화 음성(CTS) 발화자 인식 문제에 대응한다.
• 다양한 언어적 및 음성 조건에서 일반화할 수 있는 강건한 발화자 인식 시스템을 개발한다.
• 개발 세트가 전용으로 제공되지 않은 상황에서 도메인 적응 및 점수 보정 기법을 통해 성능을 향상시킨다.
• 점수 수준 융합을 통해 TDNN x-vector 및 ECAPA-TDNN 아키텍처의 상호 보완적 강점을 탐색한다.
• 오픈 훈련 데이터와 최소한의 개발 데이터를 사용하여 SRE20 CTS 평가 세트에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• Switchboard, SRE 2004–2016, Fisher, Mixer6, VoxCeleb1, VoxCeleb2 데이터셋을 조합하여 Kaldi 레시피를 사용해 TDNN x-vector 시스템을 훈련시켰다.
• MUSAN 노이즈 및 리버버버션을 통한 데이터 증강을 적용하여 훈련 세트 크기를 두 배로 늘려 강건성을 향상시켰다.
• 23차원 MFCC 특징과 에너지 기반 VAD를 사용한 TDNN 아키텍처를 통해 512차원 x-벡터를 추출했다.
• 차원 감소를 위해 LDA를 적용하고, 점수 산출을 위해 PLDA를 사용했으며, SRE2018 평가 세트를 활용해 도메인 적응을 수행했다.
• SRE2018 평가 세트(상위 30%)에 대해 적응형 s-norm을 구현하여 점수 캘리브레이션을 향상시켰다.
• VoxCeleb2를 사전 훈련 데이터로 사용한 ECAPA-TDNN 시스템을 개발하였으며, SpecAugment 및 온라인 RIR/노이즈 증강을 적용한 후 SRE18 및 SRE19 CTS 세트에서 미세조정을 수행했다.

실험 결과

연구 질문

• RQ1 TDNN x-vector 및 ECAPA-TDNN 아키텍처를 융합한 하이브리드 시스템은 다국어 CTS 발화자 인식에서 얼마나 효과적인가?
• RQ2 PLDA 모델의 도메인 적응은 다국어 CTS 데이터에서 성능을 얼마나 향상시키는가?
• RQ3 적응형 s-norm은 개방 집합 평가 환경에서 actDCF와 minDCF 간 격차를 효과적으로 줄일 수 있는가?
• RQ4 상호 보완적인 모델을 사용할 경우 점수 수준 융합이 시스템 성능에 어떤 영향을 미치는가?
• RQ5 다양한 훈련 데이터 조합은 오픈 훈련 조건에서 일반화에 어떤 영향을 미치는가?

주요 결과

• ECAPA-TDNN 시스템은 SRE20 CTS 진행 세트에서 TDNN x-vector 시스템(0.269)보다 낮은 minDCF(0.239)를 기록했다.
• 두 시스템의 점수 수준 융합을 통해 SRE20 CTS 진행 세트에서 minDCF를 0.190으로 감소시켰으며, 개별 시스템보다 뛰어난 성능을 달성했다.
• 융합 시스템은 SRE20 CTS 진행 세트에서 EER이 4.53%를 기록했으며, 개별 ECAPA-TDNN 시스템의 5.35%보다 우수했다.
• PLDA 모델의 도메인 적응은 성능 향상에 크게 기여했으며, 특히 다국어 데이터에서 minDCF 감소에 효과적이었다.
• 적응형 s-norm은 actDCF와 minDCF 간 격차를 줄이는 데 기여했지만, 여전히 큰 격차가 존재하여 보다 향상된 캘리브레이션 기법이 필요함을 시사했다.
• TDNN x-vector 시스템의 실시간 요소는 0.02였고, ECAPA-TDNN 시스템은 0.05였으며, 표준 하드웨어에서 효율적인 추론을 가능하게 했다.