[논문 리뷰] A Comparison of Metric Learning Loss Functions for End-To-End Speaker Verification

Juan Manuel Coria, Hervé Bredin외 2명|arXiv (Cornell University)|2020. 03. 31.

Speech Recognition and Synthesis참고 문헌 27인용 수 8

한 줄 요약

이 논문은 VoxCeleb 데이터셋을 사용하여 엔드 투 엔드 음성 인식에서 여섯 가지 메트릭 학습 손실 함수를 체계적으로 비교하며, 성능, 학습 시간, 내성에 대해 평가한다. 결과적으로 추가 각도 마진 손실이 정확도, 내성, 효율성 측면에서 모든 다른 손실 함수보다 뛰어나며, SincNet과 x-vector 아키텍처와 결합할 경우 최소한의 백엔드 처리를 통해 진정으로 엔드 투 엔드 시스템을 가능하게 한다.

ABSTRACT

Despite the growing popularity of metric learning approaches, very little work has attempted to perform a fair comparison of these techniques for speaker verification. We try to fill this gap and compare several metric learning loss functions in a systematic manner on the VoxCeleb dataset. The first family of loss functions is derived from the cross entropy loss (usually used for supervised classification) and includes the congenerous cosine loss, the additive angular margin loss, and the center loss. The second family of loss functions focuses on the similarity between training samples and includes the contrastive loss and the triplet loss. We show that the additive angular margin loss function outperforms all other loss functions in the study, while learning more robust representations. Based on a combination of SincNet trainable features and the x-vector architecture, the network used in this paper brings us a step closer to a really-end-to-end speaker verification system, when combined with the additive angular margin loss, while still being competitive with the x-vector baseline. In the spirit of reproducible research, we also release open source Python code for reproducing our results, and share pretrained PyTorch models on torch.hub that can be used either directly or after fine-tuning.

연구 동기 및 목표

• 음성 인식에서 메트릭 학습 손실 함수 간 공정하고 체계적인 비교가 부족한 문제를 해결하기 위해.
• 통합 엔드 투 엔드 프레임워크 내에서 여러 손실 함수의 성능, 학습 효율성, 내성에 대해 평가하기 위해.
• 최소한의 백엔드 복잡성으로 진정으로 엔드 투 엔드 음성 인식 시스템을 구축하기 위한 최적의 손실 함수를 특정하기 위해.
• 오픈소스 코드와 사전 학습된 PyTorch 모델을 공개하여 재현 가능성을 증진하기 위해.

제안 방법

• 연구는 원시 음성 특징 학습을 위한 SincNet과 임bedding 추출을 위한 x-vector를 결합한 통합 엔드 투 엔드 아키텍처를 사용한다.
• 여섯 가지 손실 함수를 평가: 교차 엔트로피, 동형 코사인 손실, 추가 각도 마진 손실, 중심 손실, 대비 손실, 트리플릿 손실.
• 학습 시 MUSAN 데이터셋의 무작위 배경 노이즈를 활용한 데이터 증강을 적용하며, 신호 대 노이즈 비율(SNR)은 10–20 dB이다.
• 분류 기반 손실 함수의 경우, 128명의 다른 화자로부터 128개 배치를 사용한다; 대비 기반 손실 함수의 경우, 20 또는 40명의 화자로 구성된 배치를 사용하며, 화자당 2–3개의 발화를 포함한다.
• 학습률, 마진, 가중 계수 등의 하이퍼파ram터는 격자 탐색을 통해 튜닝되었으며, 표 1에 기재되어 있다.
• 성능 평가는 VoxCeleb 1 테스트 세트에서 등가 오류율(EER)을 사용하며, 적응형 s-정규화 점수 정규화 여부에 따라 평가한다.

실험 결과

연구 질문

• RQ1 VoxCeleb 1 데이터셋에서 어떤 메트릭 학습 손실 함수가 가장 높은 음성 인식 정확도를 달성하는가?
• RQ2 다양한 손실 함수는 학습 시간과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 마진 기반 손실 함수는 표준 분류 손실 함수에 비해 도메인 이동에 대해 얼마나 더 뛰어난 내성을 보이는가?
• RQ4 단일 메트릭 손실 함수를 사용하는 완전한 엔드 투 엔드 시스템이 기존 x-vector 시스템의 복잡한 백엔드 파이프라인을 대체할 수 있는가?

주요 결과

• 추가 각도 마진 손실은 VoxCeleb 1에서 가장 낮은 EER을 기록하여, 모든 다른 손실 함수보다 뚜렷이 뛰어난 성능을 보였다.
• 적응형 s-정규화 점수 정규화를 적용한 결과, 추가 각도 마진 손실은 수작업 특징을 사용한 표준 x-vector 베이스라인과 경쟁 가능한 성능을 달성했다.
• 추가 각도 마진 손실은 가장 높은 내성을 보였으며, 점수 정규화의 효과가 통계적으로 유의미하지 않아 내재된 일반화 능력이 뛰어나다는 것을 시사한다.
• 대비 손실과 추가 각도 마진 손실은 유일하게 점수 정규화의 성능 향상이 통계적으로 유의미하지 않아, 더 나은 도메인 일반화 능력을 가짐을 시사한다.
• 동형 코사인 손실과 대비 기반 손실 함수(대비 및 트리플릿)는 수렴 속도가 느려, 200시간 이상 학습 후에도 성능 향상이 계속되었다.
• 추가 각도 마진 손실은 정확도, 내성, 학습 효율성의 모든 기준에서 뛰어난 성능을 달성한 유일한 손실 함수였다.