[논문 리뷰] Beijing ZKJ-NPU Speaker Verification System for VoxCeleb Speaker Recognition Challenge 2021

Li Zhang, Huan Zhao외 4명|arXiv (Cornell University)|2021. 09. 08.

Speech Recognition and Synthesis참고 문헌 31인용 수 5

한 줄 요약

이 논문은 VoxCeleb Speaker Recognition Challenge 2021의 완전 지도 학습 트랙(트랙 1 및 트랙 2)에서 2위를 기록한 베이징 ZKJ-NPU 시스템을 제시한다. 시스템은 E-TDNN, ECAPA-TDNN, ResNet 변종, CoAtNet, PyConv 등의 다양한 딥 네ural 네트워크를 활용하며, 대용량 마진 미세조정, 임bedding 정규화, 점수 정규화, 모델 융합 등의 고급 학습 전략을 적용하여, 트랙 1과 트랙 2의 테스트 세트에서 각각 minDCF 0.1205 및 0.1175, EER 2.816% 및 2.840%를 달성한다.

ABSTRACT

In this report, we describe the Beijing ZKJ-NPU team submission to the VoxCeleb Speaker Recognition Challenge 2021 (VoxSRC-21). We participated in the fully supervised speaker verification track 1 and track 2. In the challenge, we explored various kinds of advanced neural network structures with different pooling layers and objective loss functions. In addition, we introduced the ResNet-DTCF, CoAtNet and PyConv networks to advance the performance of CNN-based speaker embedding model. Moreover, we applied embedding normalization and score normalization at the evaluation stage. By fusing 11 and 14 systems, our final best performances (minDCF/EER) on the evaluation trails are 0.1205/2.8160% and 0.1175/2.8400% respectively for track 1 and 2. With our submission, we came to the second place in the challenge for both tracks.

연구 동기 및 목표

• 완전 지도 학습을 활용하여 VoxCeleb Speaker Recognition Challenge 2021에 대응하는 고성능 음성 인식 시스템을 개발한다.
• 향상된 음성 임베딩 학습을 위해 ResNet-DTCF, CoAtNet, PyConv 등의 고급 딥 네ural 네트워크 아키텍처를 탐색한다.
• 대용량 마진 미세조정, 임베딩 정규화, 점수 정규화 등의 학습 및 평가 단계 기법을 통해 성능을 향상시킨다.
• 트랙 1과 트랙 2 모두에서 다양한 시스템을 융합하여 최신 기술 수준의 성능을 달성한다.

제안 방법

• TDNN 및 ResNet 아키텍처 기반으로 총 15종의 다양한 음성 임베딩 모델을 학습하였으며, E-TDNN, ECAPA-TDNN, ResNet-SE, ResNet-BAM, SE-Res2Net, CoAtNet 등이 포함된다.
• 주파수 도메인 SpecAug, 추가 노이즈(MUSAN), 반향(RIR 기반), 속도 변형을 통한 스피커 증강 등의 온라인 데이터 증강 기법을 적용하였다.
• 입력으로 멜-주파수 케플스트럼 계수(MFCC)와 멜-필터뱅크(Fbank) 특징을 사용하였으며, 교차 엔트로피, AAM-softmax, SC-AAM-softmax, 또는 사이클로스 손실을 활용해 모델을 학습하였다.
• 학습 중 대용량 마진 미세조정(LMF)을 구현하여 클래스 간 분리성과 마진 학습을 향상시켰다.
• 추론 단계에서 임베딩 정규화와 점수 정규화(행렬 점수 평균)를 적용하여 점수 변동성을 감소시키고 일반화 성능을 향상시켰다.
• BOSARIS 툴킷을 사용해 선형 융합 방식으로 11개 및 14개의 시스템을 융합하여 개별 모델보다 뚜렷한 성능 향상을 이룩하였다.

실험 결과

연구 질문

• RQ1 ResNet-DTCF 및 CoAtNet와 같은 하이브리드 CNN 아키텍처는 표준 TDNN 및 ResNet 모델에 비해 음성 인식 성능에서 어떻게 비교되는가?
• RQ2 임베딩 정규화 및 점수 정규화와 같은 정규화 기법은 음성 인식에서 시스템의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 대용량 마진 미세조정은 완전 지도 학습 환경에서 음성 임베딩 모델의 분류 능력을 향상시킬 수 있는가?
• RQ4 다양한 아키텍처를 융합하는 모델 융합 기법은 VoxSRC-2021 벤치마크에서 뛰어난 성능을 달성하는 데 얼마나 효과적인가?
• RQ5 SpecAug, 노이즈, 반향과 같은 데이터 증강 전략은 다국어 음성 인식에서 로버스트성을 향상시키는 데 어느 정도 기여하는가?

주요 결과

• 14개 시스템의 융합은 트랙 2에서 minDCF 0.1175, EER 2.840%를 달성하여 2위를 기록하였다.
• 11개 시스템의 융합은 트랙 1에서 minDCF 0.1205, EER 2.816%를 달성하여 동일하게 2위를 기록하였다.
• 평가 단계에서 임베딩 및 점수 정규화를 적용한 결과, 기준 모델 대비 뚜렷한 성능 향상이 관찰되었다.
• CNN-ECAPA 및 ResNet-Pyramid와 같은 하이브리드 모델은 단독으로 사용되는 ResNet 및 TDNN 변종보다 뛰어난 성능을 보였다.
• 대용량 마진 미세조정은 모델 일반화 능력을 크게 향상시켜 여러 모델에서 minDCF를 최대 0.03 감소시켰다.
• CoAtNet 기반 모델는 개별적으로는 정확도가 낮았지만 융합 집합에서 효과적으로 기여하여 상호 보완적인 행동을 보였다.