[논문 리뷰] Centroid-based deep metric learning for speaker recognition

Jixuan Wang, Kuan-Chieh Wang외 3명|arXiv (Cornell University)|2019. 02. 06.

Speech Recognition and Synthesis참고 문헌 24인용 수 10

한 줄 요약

이 논문은 종래의 트리플릿 손실 대신 원형 네트워크 손실(Prototypical Network Loss, PNL)을 사용하는 중심점 기반 딥 메트릭 러닝 접근법을 제안하여 엔드 투 엔드 스피커 임bedding 모델에서 스피커 인식을 수행한다. PNL 기반 모델은 스피커 검증 및 식별 작업에서 본 적 있는 스피커와 본 적 없는 스피커 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 트리플릿 손실 모델보다 유의미한 성능 향상을 보이고, 하이퍼파rameter 민감도 없이 더 빠르고 안정적인 학습을 제공한다.

ABSTRACT

Speaker embedding models that utilize neural networks to map utterances to a space where distances reflect similarity between speakers have driven recent progress in the speaker recognition task. However, there is still a significant performance gap between recognizing speakers in the training set and unseen speakers. The latter case corresponds to the few-shot learning task, where a trained model is evaluated on unseen classes. Here, we optimize a speaker embedding model with prototypical network loss (PNL), a state-of-the-art approach for the few-shot image classification task. The resulting embedding model outperforms the state-of-the-art triplet loss based models in both speaker verification and identification tasks, for both seen and unseen speakers.

연구 동기 및 목표

• 저자원 환경에서 본 적 있는 스피커와 본 적 없는 스피커 간의 성능 격차를 해소하기 위해.
• 원형 네트워크 손실(PNL)을 활용하여 소수의 샘플에서의 스피커 인식에서 일반화 능력을 향상시키기 위해.
• 검증 및 식별 작업 모두에서 엔드 투 엔드 스피커 임베딩 모델에서 PNL과 트리플릿 손실(TL)을 비교하기 위해.
• PNL의 실용적 이점, 예를 들어 하이퍼파rameter 민감도 감소와 더 빠른 학습을 평가하기 위해.
• 제한된 등록 데이터로도 본 적 없는 스피커에 대해 PNL 기반 모델이 더 잘 일반화되는지 입증하기 위해.

제안 방법

• 모델은 음성 시퀀스를 고차원 공간으로 임베딩하기 위해 순환 신경망을 사용하며, 여기서 스피커 유사도는 거리로 측정된다.
• 원형 네트워크 손실(PNL)은 학습 중 각 스피커의 지원 샘플 임베딩 평균을 클래스 프로토타입으로 계산한다.
• PNL은 각 지원 샘플과 자신의 클래스 프로토타입 간의 거리를 최소화하면서 다른 프로토타입과의 거리는 최대화하도록 한다.
• 손실 함수는 코사인 거리 또는 유클리드 거리를 사용한 임베딩과 해당 프로토타입 간의 브레그만 발산의 합으로 정의된다.
• 모델은 PNL을 사용해 엔드 투 엔드로 학습되며, 트리플릿 샘플링이나 마진 하이퍼파rameter α가 필요 없다.
• 추론 중에는 등록 음성에서 스피커 프로토타입을 계산하고, 임계값과의 거리 비교를 통해 검증을 수행한다.

실험 결과

연구 질문

• RQ1 원형 네트워크 손실(PNL)이 본 적 있는 스피커와 본 적 없는 스피커 모두에서 스피커 임베딩 학습에서 트리플릿 손실(TL)을 능가할 수 있는가?
• RQ2 왜 PNL은 소수의 샘플에서 스피커 인식 시나리오에서 TL보다 더 잘 일반화되는가?
• RQ3 학습 안정성, 속도, 하이퍼파rameter 민감도 측면에서 PNL은 TL과 어떻게 비교되는가?
• RQ4 클래스 프로토타입을 중심점으로 사용함으로써 짧은 음성 및 저샷 설정에서 임베딩 품질이 향상되는가?
• RQ5 원형 네트워크 손실은 원래 이미지 소수의 샘플 학습을 위해 설계되었지만, 순차적인 음성 데이터에 효과적으로 적용될 수 있는가?

주요 결과

• VoxCeleb2에서 PNL 모델은 본 적 없는 스피커에 대해 66.63%의 SI 정확도를 기록했으며, 코사인 거리를 사용한 트리플릿 손실 대비 59.61%를 기록했다.
• VCTK에서 PNL 모델은 10초 등록 시 본 적 없는 스피커에 대해 10.77%의 EER을 기록했으며, 트리플릿 손실 대비 13.87%를 기록했다.
• 최적의 트리플릿 손실 변종 대비 VCTK에서 EER을 2.16%포인트 감소시키고, VoxCeleb2에서 1.24%포인트 감소시켰다.
• PNL 학습은 배치당 쌍별 계산이 줄어들어 트리플릿 손실 학습 대비 약 3배 더 빠르게 진행되었다.
• PNL 모델은 샷 수(3~10)의 변화에 대해 강건했으며, 다양한 소수의 샘플 설정에서 일관된 성능을 보였다.
• 통계 분석을 통해 PNL이 본 적 없는 스피커 시나리오에서 TL을 유의미하게 뛰어넘는 것으로 확인되었으며(p ≪ 0.001).