[논문 리뷰] Robust Speaker Recognition with Transformers Using wav2vec 2.0

Sergey Novoselov, Galina Lavrentyeva외 3명|arXiv (Cornell University)|2022. 03. 28.

Speech Recognition and Synthesis인용 수 11

한 줄 요약

이 논문은 wav2vec 2.0 사전학습 모델을 탐색하여 TDNN 및 통계 풀링 백엔드로 미세조정한 강건한 화자 인식 시스템을 제안하며, 다양한 데이터셋에서 최신 기술 수준의 성능을 달성한다. 소규모이고 청소된 데이터셋을 사용하여 데이터 증강을 적용한 미세조정이 일반화 능력을 향상시킴을 보여주며, 특히 전화 및 크로스채널 조건에서 뛰어난 성능을 발휘한다. VoxCeleb1-O에서 EER은 0.69%이며, SRE 2019에서 1.71%를 기록한다.

ABSTRACT

Recent advances in unsupervised speech representation learning discover new approaches and provide new state-of-the-art for diverse types of speech processing tasks. This paper presents an investigation of using wav2vec 2.0 deep speech representations for the speaker recognition task. The proposed fine-tuning procedure of wav2vec 2.0 with simple TDNN and statistic pooling back-end using additive angular margin loss allows to obtain deep speaker embedding extractor that is well-generalized across different domains. It is concluded that Contrastive Predictive Coding pretraining scheme efficiently utilizes the power of unlabeled data, and thus opens the door to powerful transformer-based speaker recognition systems. The experimental results obtained in this study demonstrate that fine-tuning can be done on relatively small sets and a clean version of data. Using data augmentation during fine-tuning provides additional performance gains in speaker verification. In this study speaker recognition systems were analyzed on a wide range of well-known verification protocols: VoxCeleb1 cleaned test set, NIST SRE 18 development set, NIST SRE 2016 and NIST SRE 2019 evaluation set, VOiCES evaluation set, NIST 2021 SRE, and CTS challenges sets.

연구 동기 및 목표

• 엔드 투 엔드 미세조정을 통해 wav2vec 2.0 표현이 화자 인식에 얼마나 효과적인지 조사하기.
• 변환기 레이어 선택과 데이터 증강이 도메인 간 일반화에 미치는 영향 평가하기.
• 여러 표준 벤치마크에서 전통적인 ResNet 및 ECAPA-TDNN 기반 모델과의 성능 비교하기.
• 비지도 사전학습을 사용할 경우, 소규모이고 청소된 훈련 세트가 강건한 화자 임베딩 학습에 충분한지 확인하기.
• wav2vec 2.0와 같은 강력한 사전학습 모델을 사용할 때, 복잡한 백엔드 또는 프론트엔드가 필수적인지 평가하기.

제안 방법

• 추가적인 각도 마진(AAM-Softmax) 손실을 사용하여 큰 다국어 wav2vec 2.0 모델(XLS-R-1B 및 XLSR-53)을 미세조정하며, 마진 m=0.35와 스케일링 s=32를 적용한다.
• 선택된 wav2vec 2.0 인코더 레이어에서 고정된 차원의 화자 임베딩을 추출하기 위해 TDNN 및 통계 풀링 백엔드를 사용한다.
• XLSR-53 모델의 6번째 레이어와 XLS-R-1B 모델의 12번째 레이어를 화자 인식에 최적화된 것으로 선정하여 전체 인코더 사용을 피한다.
• 미세조정 중에 온라인 데이터 증강(예: 속도 왜곡, 잡음 주입)을 적용하여 내성 강도를 향상시킨다.
• 먼저 짧은 발화(4–6초)로 훈련한 후, 더 긴 세그먼트(12–18초)로 미세조정하여 일반화 능력을 향상시킨다.
• 원 사이클 학습률 스케줄링과 U-Net 기반 VAD를 사용한 평균 정규화를 프론트엔드 처리에 적용한다.

실험 결과

연구 질문

• RQ1 소규모 데이터셋과 최소한의 감독 하에서 wav2vec 2.0 표현을 효과적으로 화자 인식에 미세조정할 수 있는가?
• RQ2 wav2vec 2.0의 변환기 인코더 레이어 중에서 성능과 계산 비용 간의 최적의 균형을 이루는 레이어는 무엇인가?
• RQ3 미세조정 중 데이터 증강이 자원이 제한된 또는 크로스도메인 환경에서 내성 강도를 향상시키는가?
• RQ4 wav2vec 2.0 기반 시스템의 성능이 다양한 평가 프로토콜에서 강력한 베이스라인인 ResNet101 및 ECAPA-TDNN과 비교해 어떻게 되는가?
• RQ5 변환기 기반 모델에서 강력한 화자 인식 성능를 달성하기 위해 대비 예측 학습을 통한 비지도 사전학습이 필수적인가?

주요 결과

• wav2vec-TDNN(XLSR-53) 모델은 VoxCeleb1-O(청소된) 테스트 세트에서 EER 0.69%를 기록하여 기존 베이스라인 모델을 초월했다.
• wav2vec-TDNN(XLS-R_1B) 모델은 NIST SRE 2019 평가 세트에서 EER 1.71%를 기록하여 강력한 크로스도메인 일반화 능력을 입증했다.
• XLSR-53의 6번째 레이어와 XLS-R_1B의 12번째 레이어를 사용함으로써 깊은 레이어와 유사한 성능를 달성하면서도 계산 비용을 감소시켰으며, 성능 손실 없이도 가능했다.
• 미세조정 중 데이터 증강이 전화 및 크로스채널 세트에서 성능을 크게 향상시켰으며, 특히 훈련 데이터가 제한된 경우 두드러졌다.
• 소규모이고 청소된 훈련 세트(예: VC1에서 1211명의 화자)로 미세조정한 결과 최신 기술 수준의 성능를 달성하여, 비지도 사전학습을 통한 강력한 제로샷 일반화 능력을 확인했다.
• wav2vec 2.0에서 처음부터 훈련하는 것은 실패했으며, 이는 효과적인 화자 임베딩 학습을 위해 대규모의 비라벨 데이터로 사전학습이 필수적임을 확인했다.