[논문 리뷰] Large-scale Self-Supervised Speech Representation Learning for Automatic Speaker Verification

Zhengyang Chen, Sanyuan Chen외 6명|arXiv (Cornell University)|2021. 10. 12.

Speech Recognition and Synthesis인용 수 9

한 줄 요약

이 논문은 사전 훈련된 모델(Wav2Vec2.0, HuBERT, UniSpeech-SAT)의 모든 은닉층에서의 자기지도 학습 음성 표현을 가중 평균하는 방법을 제안하여 자동 화자 인식(ASV) 성능을 향상시킨다. ECAPA-TDNN을 사용한 실험에서 VoxCeleb1-E에서 0.537%의 EER을 기록하여 VoxSRC2021 경연 대회 수상자보다 뛰어난 성능을 보였으며, 사전 훈련된 모델의 하위층이 상위층보다 더 구분력 있는 화자 정보를 담고 있음을 입증하였다.

ABSTRACT

The speech representations learned from large-scale unlabeled data have shown better generalizability than those from supervised learning and thus attract a lot of interest to be applied for various downstream tasks. In this paper, we explore the limits of speech representations learned by different self-supervised objectives and datasets for automatic speaker verification (ASV), especially with a well-recognized SOTA ASV model, ECAPA-TDNN [1], as a downstream model. The representations from all hidden layers of the pre-trained model are firstly averaged with learnable weights and then fed into the ECAPA-TDNN as input features. The experimental results on Voxceleb dataset show that the weighted average representation is significantly superior to FBank, a conventional handcrafted feature for ASV. Our best single system achieves 0.537%, 0.569%, and 1.180% equal error rate (EER) on the three official trials of VoxCeleb1, separately. Accordingly, the ensemble system with three pre-trained models can further improve the EER to 0.479%, 0.536% and 1.023%. Among the three evaluation trials, our best system outperforms the winner system [2] of the VoxCeleb Speaker Recognition Challenge 2021 (VoxSRC2021) on the VoxCeleb1-E trial.

연구 동기 및 목표

• 대규모 자기지도 학습 음성 표현이 ECAPA-TDNN과 같은 최신 화자 인식 시스템을 향상시킬 수 있는지 조사하기 위해.
• 사전 훈련된 모델의 모든 은닉층 표현을 조합하는 것이 마지막 층만 사용하는 것보다 더 나은 성능을 내는지 확인하기 위해.
• 사전 훈련된 모델의 다양한 계층에서 화자 관련 정보의 분포를 분석하기 위해.
• 모델 아키텍처, 사전 훈련 목표 함수, 훈련 데이터 크기 등이 최종 ASV 성능에 미치는 영향을 평가하기 위해.
• 기존 수작업 특징(FBank 등)과 비교하여 자기지도 학습 표현의 효과성을 평가하기 위해.

제안 방법

• 사전 훈련된 모델(Wav2Vec2.0, HuBERT, UniSpeech-SAT)의 은닉층 표현을 가중 평균하여 ECAPA-TDNN의 입력으로 사용하는 방법을 사용한다.
• 가중치는 최종 훈련 중에 엔드 투 엔드로 학습되며, 이로써 모델이 화자 구분에 가장 기여하는 계층을 학습할 수 있다.
• 사전 훈련된 모델은 VoxCeleb1 및 VoxCeleb2 데이터셋에서 ECAPA-TDNN 분류기와 함께 공동으로 미세조정된다.
• 모델 아키텍처(기본 vs. 대규모), 사전 훈련 목표 함수(대비, 마스킹 예측), 훈련 데이터 스케일(XLSR, LibriSpeech 등)에 따라 다른 모델을 비교한다.
• 사전 훈련된 인코더를 고정시키는지 또는 미세조정하는지의 영향을 평가하기 위해 추론 실험를 실시한다.
• 정규화된 주의 히트맵을 통해 각 계층의 중요도를 시각화하여 화자 정보가 가장 집중된 위치를 분석한다.

실험 결과

연구 질문

• RQ1 대규모 비라벨 음성 데이터에서 유도된 자기지도 학습 음성 표현은 ECAPA-TDNN과 같은 최신 화자 인식 시스템의 성능을 향상시킬 수 있는가?
• RQ2 마지막 층이 아닌 모든 은닉층의 표현을 가중 평균하여 사용하는 것이 유익한가?
• RQ3 화자 인식에 가장 뛰어난 성능을 내는 사전 훈련된 모델 아키텍처와 사전 훈련 목표 함수는 무엇인가?
• RQ4 사전 훈련된 모델 내에서 가장 구분력 있는 화자 정보가 위치한 계층(즉, 어느 계층인가)은 어디인가?
• RQ5 사전 훈련된 모델과 최종 분류기의 공동 미세조정이 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• 가중 평균을 통한 모든 은닉층 표현 통합 방법이 VoxCeleb1-E에서 0.537%의 동등 오류률(EER)을 기록하여, 해당 시험에서 VoxSRC2021 경연 대회 수상자보다 뛰어난 성능을 보였다.
• 세 개의 사전 훈련된 모델 앙상블은 VoxCeleb1-E에서 EER을 0.479%로 추가로 낮추며, 이는 제안된 방법의 강건성을 입증한다.
• 자기지도 학습 표현은 기존의 FBank 특징보다 뚜렷이 뛰어나, 모든 VoxCeleb1 시험에서 상대적 EER 향상 약 30%를 달성하였다.
• 사전 훈련된 모델의 하위층(특히 UniSpeech-SAT_Large 및 Wav2Vec2.0_Large와 같은 대규모 모델)이 상위층보다 더 많은 구분력 있는 화자 정보를 포함하고 있음을 확인하였으며, 이는 더 높은 학습된 가중치로 나타났다.
• 사전 훈련된 모델을 최종 훈련 중에 미세조정하는 것이 VoxCeleb1_dev 보다 VoxCeleb2_dev에서 더 큰 성능 향상을 이끌어내었으며, 이는 데이터 스케일이 미세조정 효과에 영향을 미칠 수 있음을 시사한다.
• Wav2Vec2.0_Large(XLSR)와 UniSpeech-SAT_Large 모델이 미세조정 후 가장 뛰어난 성능을 보였으며, 특히 후자는 VoxCeleb1-E에서 최저 EER 0.537%를 기록하였다.