[논문 리뷰] Exploring wav2vec 2.0 on speaker verification and language identification

Zhiyun Fan, Meng Li외 2명|arXiv (Cornell University)|2020. 12. 11.

Speech Recognition and Synthesis참고 문헌 30인용 수 13

한 줄 요약

이 논문은 자기지도 학습 전훈을 통해 웨이브2벡 2.0를 발화자 확인(SV) 및 언어 식별(LID)에 적용하는 것을 탐구한다. wav2vec 2.0가 작업에 특화된 전훈 없이도 판별 가능한 발화자 및 언어 표현을 학습할 수 있음을 보여주며, SV에 대해 VoxCeleb1에서 3.61%의 새로운 최고 성능(EER), LID에 대해 전체 길이의 AP17-OLR에서 3.47%의 EER를 달성한다. 통합 다중 작업 모델을 통해 파ram터를 줄이면서도 뛰어난 성능 유지를 이룬다.

ABSTRACT

Wav2vec 2.0 is a recently proposed self-supervised framework for speech representation learning. It follows a two-stage training process of pre-training and fine-tuning, and performs well in speech recognition tasks especially ultra-low resource cases. In this work, we attempt to extend self-supervised framework to speaker verification and language identification. First, we use some preliminary experiments to indicate that wav2vec 2.0 can capture the information about the speaker and language. Then we demonstrate the effectiveness of wav2vec 2.0 on the two tasks respectively. For speaker verification, we obtain a new state-of-the-art result, Equal Error Rate (EER) of 3.61% on the VoxCeleb1 dataset. For language identification, we obtain an EER of 12.02% on 1 second condition and an EER of 3.47% on full-length condition of the AP17-OLR dataset. Finally, we utilize one model to achieve the unified modeling by the multi-task learning for the two tasks.

연구 동기 및 목표

• wav2vec 2.0의 자기지도 학습 전훈이 작업에 특화되지 않은 상황에서도 발화자 및 언어 정보를 효과적으로 포착할 수 있는지 조사하기 위해.
• wav2vec 2.0를 발화자 확인 및 언어 식별 작업에 맞게 미세조정한 성능을 평가하기 위해.
• 단일 통합 모델을 통해 SV와 LID를 동시에 최적화함으로써 모델 복잡도와 학습 비용을 줄이기 위해.
• 대규모 비라벨 음성 데이터에 대해 문제에 무관한 전훈을 통해 강력한 발화자 및 언어 관련 표현을 도출할 수 있음을 입증하기 위해.

제안 방법

• 대규모 비라벨 음성 데이터를 대상으로 대조적 예측 코드 기반의 컨트라스트브 프리트레인을 수행하며, CNN 인코더, 트랜스포머 컨텍스트 네트워크, 벡터 양자화 코드북을 사용한다.
• 사전 전훈된 w2v-인코더에서 컨텍스트 표현을 추출하고, t-SNE를 사용해 시각화하여 발화자 및 언어의 판별 가능성을 평가한다.
• VoxCeleb1에서 발화자 확인 및 AP17-OLR에서 언어 식별에 대해 작업에 특화된 헤드(완전 연결층)를 사용해 사전 전훈된 w2v-인코더를 미세조정한다.
• 공통 w2v-인코더 위에 두 개의 병렬 분류 헤드를 추가하여 다중 작업 학습 설정을 구현하고, 가중치가 부여된 손실 함수를 사용해 동시에 SV 및 LID 예측을 수행한다.
• 미세조정 중에 학습률 웜업과 선형 감소 스케줄을 사용하며, 초기에 인코더의 가중치를 동결하여 학습 안정성을 확보한다.
• 테스트 세트에서 Equal Error Rate(EER)를 사용해 성능을 평가하고, i-vector + PLDA 및 TDNN과 같은 기준 모델과 비교한다.

Fig. 1 : An overview of the pre-training and fine-tuning. The models architecture used in pre-training stage and fine-tuning stage are identical, except the quantization modules and extra output layers.

실험 결과

연구 질문

• RQ1 wav2vec 2.0의 자기지도 학습 전훈은 작업에 특화된 감독 없이도 발화자 및 언어에 대해 판별 가능한 표현을 학습할 수 있는가?
• RQ2 기존 최고 성능(SOTA) 방법과 비교해 wav2vec 2.0는 발화자 확인 및 언어 식별에서 어떤 성능을 보이는가?
• RQ3 단일 통합 모델을 다중 작업 학습을 통해 훈련시켜 발화자 확인 및 언어 식별을 효율적으로 처리할 수 있으며, 파ram터 수를 줄일 수 있는가?
• RQ4 언어 식별의 자원이 적은 환경에서 전훈이 과적합을 완화하는 데 기여하는가?

주요 결과

• 사전 전훈된 wav2vec 2.0 모델은 발화자 확인에 대해 VoxCeleb1 데이터셋에서 3.61%의 새로운 최고 성능(EER)을 달성한다.
• 언어 식별에 대해선 AP17-OLR 데이터셋의 1초 조건에서 EER이 12.02%이며, 전체 길이 조건에서는 3.47%를 기록한다.
• 시각화 결과에 따르면, 사전 전훈된 모델의 하위 레이어에서 작업에 특화된 전훈 없이도 발화자 및 언어의 판별 능력이 뚜렷하게 나타난다.
• 다중 작업 학습 모델은 SV에서 4.18%, LID에서 4.88%의 EER를 기록하여, 별도의 모델보다 파ram터 수를 줄이며 효과적인 통합 모델링을 입증한다.
• 사전 전훈된 모델에서의 미세조정은 특히 언어 식별의 자원이 적은 환경에서 초기 학습과 비교해 과적합을 크게 줄인다.
• 언어 식별에서 사전 전훈된 모델과 비사전 전훈된 모델 간의 성능 격차는 크며, 자기지도 학습 전훈의 강력한 이점이 있음을 시사한다.