[논문 리뷰] Learning Speaker Representation with Semi-supervised Learning approach for Speaker Profiling

Shangeth Rajaa, Pham Van Tung외 1명|arXiv (Cornell University)|2021. 10. 24.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 원시 음성 데이터를 사용하여 감독 학습된 화자 특성(나이, 키, 성별)과 비감독 화자 표현 학습을 동시에 수행하는 준감독 학습 프레임워크를 제안한다. 일致성 훈련과 상호정보 최대화를 통합함으로써 TIMIT에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 남성과 여성의 연령 추정에 대해 각각 6.8년과 7.4년의 RMSE를 기록하였다.

ABSTRACT

Speaker profiling, which aims to estimate speaker characteristics such as age and height, has a wide range of applications inforensics, recommendation systems, etc. In this work, we propose a semisupervised learning approach to mitigate the issue of low training data for speaker profiling. This is done by utilizing external corpus with speaker information to train a better representation which can help to improve the speaker profiling systems. Specifically, besides the standard supervised learning path, the proposed framework has two more paths: (1) an unsupervised speaker representation learning path that helps to capture the speaker information; (2) a consistency training path that helps to improve the robustness of the system by enforcing it to produce similar predictions for utterances of the same speaker.The proposed approach is evaluated on the TIMIT and NISP datasets for age, height, and gender estimation, while the Librispeech is used as the unsupervised external corpus. Trained both on single-task and multi-task settings, our approach was able to achieve state-of-the-art results on age estimation on the TIMIT Test dataset with Root Mean Square Error(RMSE) of6.8 and 7.4 years and Mean Absolute Error(MAE) of 4.8 and5.0 years for male and female speakers respectively.

연구 동기 및 목표

• 화자 프로파일링 작업에 대한 감독 학습 데이터가 제한적인 문제를 해결한다.
• Librispeech와 같은 외부 비감독 코퍼스를 활용하여 화자 표현 학습을 향상시킨다.
• 나이, 키, 성별을 동시에 예측하는 통합 모델을 개발하여 성별에 특화된 모델을 피한다.
• 동일한 화자의 증강된 시각 간의 일致성 훈련을 통해 모델의 강건성과 일반화 능력을 향상시킨다.
• 화자 내용에 영향을 받지 않고 화자 특성에 rich한 화자 특수 표현을 학습한다.

제안 방법

• 감독 학습, 비감독 화자 표현 학습, 일치성 훈련의 세 경로로 구성된 프레임워크를 도입한다.
• 동일한 화자의 임베딩 간 상호정보를 최대화하기 위해 대비 학습 목표를 사용한다.
• 동일한 화자(긍정)와 다른 화자(부정)의 잠재 코드 쌍을 구분하기 위해 판별자 모델을 학습한다.
• 감독 손실, 표현 손실(대비), 일치성 손실을 통합한 목적 함수를 구성한다.
• 비감독 데이터 대비 감독 데이터 비율이 4:1인 DiffGrad 옵timizer를 사용하여 총 200 에포크 동안 훈련한다.
• 최종 예측 헤드를 위해 사전 학습된 wav2vec 인코더를 백본으로 사용하고, LSTM 및 밀집층을 통해 미세조정한다.

실험 결과

연구 질문

• RQ1 라벨이 부족한 상황에서 준감독 학습이 화자 프로파일링 성능을 향상시킬 수 있는가?
• RQ2 화자 표현과 프로파일링 특성을 동시에 학습하는 것이 감독 학습 전용에 비해 더 나은 일반화 성능을 내는가?
• RQ3 나이, 키, 성별을 다중 작업으로 학습하는 것이 단일 작업 학습에 비해 성능과 강건성 면에서 어떻게 비교되는가?
• RQ4 동일 화자의 증강된 발화 간 일치성 훈련이 모델 일반화를 향상시키는가?
• RQ5 Librispeech에서의 비감독 사전 학습이 최종 화자 프로파일링 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 다중 작업 준감독 모델은 TIMIT 테스트 세트에서 남성 연령 추정에 대해 최신 기술 수준(SOTA)의 RMSE 6.8년, 여성 연령 추정에 대해 7.4년을 기록하였다.
• 모델은 TIMIT에서 남성 연령 추정에 대해 4.8년, 여성 연령 추정에 대해 5.0년의 MAE를 기록하여 이전 방법들을 능가하였다.
• 다중 작업 설정에서 성별 분류 정확도는 99.1%에 도달하여 TIMIT에서 이전 SOTA 결과와 동일하거나 이를 초월하였다.
• TIMIT에서 남성 및 여성 화자에 대해 연령 및 키 추정에서 다중 작업 설정이 단일 작업 모델보다 일관되게 뛰어난 성능을 보였다.
• NISP 데이터셋에서 모델은 남성 및 여성의 키 추정에 대해 각각 RMSE 6.49와 6.44를 기록하였고, 연령 추정에 대해선 5.55와 6.25를 기록하여 강력한 일반화 능력을 보였다.
• NISP 테스트 세트에서 모델은 성별 분류 정확도 100%를 달성하여 성별 예측의 높은 신뢰성을 입증하였다.