[논문 리뷰] Triplet Based Embedding Distance and Similarity Learning for Text-independent Speaker Verification

Zongze Ren, Zhiyong Chen외 1명|arXiv (Cornell University)|2019. 08. 06.

Speech Recognition and Synthesis참고 문헌 17인용 수 4

한 줄 요약

이 논문은 표준 소프트맥스 손실과 함께 삼중체 거리 손실과 임베딩 유사도 측정 네트워크를 공동 최적화하는 텍스트 독립적 발화자 확인을 위한 삼중체 기반 훈련 프레임워크를 제안한다. 이중 분기 DNN을 도입하여 발화자 유사도를 분류하고 임베딩 거리를 정밀하게 조정함으로써, NIST SRE16 테스트 세트에서 등오류률(EER)과 검출 비용 함수(DCF)가 각각 9% 상대 감소하여 기준 x-vector 시스템을 능가한다.

ABSTRACT

Speaker embeddings become growing popular in the text-independent speaker verification task. In this paper, we propose two improvements during the training stage. The improvements are both based on triplet cause the training stage and the evaluation stage of the baseline x-vector system focus on different aims. Firstly, we introduce triplet loss for optimizing the Euclidean distances between embeddings while minimizing the multi-class cross entropy loss. Secondly, we design an embedding similarity measurement network for controlling the similarity between the two selected embeddings. We further jointly train the two new methods with the original network and achieve state-of-the-art. The multi-task training synergies are shown with a 9% reduction equal error rate (EER) and detected cost function (DCF) on the 2016 NIST Speaker Recognition Evaluation (SRE) Test Set.

연구 동기 및 목표

• x-vector 시스템에서 훈련 목적과 평가 목적 간 괴리 문제를 해결하여 텍스트 독립적 발화자 확인 성능을 향상시키기 위해.
• 삼중체 기반 최적화를 통해 발화자 내부의 임베딩 분산을 줄이고 발화자 간 분離도를 높이기 위해.
• 발화자 임베딩 간 유사도를 더 잘 모델링하기 위해 학습 가능한 유사도 측정 네트워크를 도입하여 스코링의 강건성을 향상시키기 위해.
• 소프트맥스, 삼중체 거리, 유사도 손실를 공동으로 훈련시켜 상호보완적인 성능 향상을 달성하기 위해.

제안 방법

• 기본 및 양성 임베딩 간 유클리드 거리를 최소화하고, 음성 임베딩과의 거리를 최대화하는 삼중체 손실을 도입하여 직접적으로 확인 성능을 최적화한다.
• 기본 및 양성/음성 임베딩을 연결하여 입력으로 사용하고, 그들의 발화자 유사도를 예측하는 보조 DNN인 임베딩 유사도 측정 네트워크를 설계한다.
• 다중 클래스 교차엔트로피(소프트맥스) 손실, 삼중체 거리 손실, 유사도 분류 손실의 세 가지 손실 함수를 함께 훈련하며, 가중치 계수 β와 γ를 학습 가능하게 적용한다.
• 훈련 세트의 다양성과 강건성을 높이기 위해 MUSAN과 RIR을 사용한 데이터 증강 기법을 적용한다.
• 임베딩 군집화 및 스코어 분포 분석을 위해 t-SNE 시각화와 DET 곡선을 활용한다.
• 스코링에 Kaldi의 PLDA 백엔드를 사용하고, SRE16 테스트 세트에서 EER과 DCF16 지표를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 삼중체 기반 거리 최적화는 텍스트 독립적 발화자 확인에서 발화자 내부 분산을 줄이고 EER을 향상시킬 수 있는가?
• RQ2 학습 가능한 유사도 측정 네트워크는 발화자 간 임베딩 유사도를 더 잘 모델링함으로써 DCF를 향상시킬 수 있는가?
• RQ3 소프트맥스, 삼중체 거리, 유사도 손실의 다중 손실 공동 훈련은 단일 또는 双손실 훈련보다 상호보완적인 성능 향상을 이끌 수 있는가?
• RQ4 다른 임베딩 레이어(A 대비 B)와 정규화 기법의 조합이 제안된 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• 소프트맥스, 삼중체 거리, 유사도 손실의 공동 훈련을 수행한 제안된 시스템(System 5)은 SRE16 테스트 세트에서 등오류률(EER)과 검출 비용 함수(DCF)가 각각 9% 상대 감소하였다.
• 임베딩 유사도 측정 네트워크만을 사용한 시스템(System 3)은 EER은 약간 증가했지만 DCF는 10.5% 감소시켜 백엔드 스코링 성능 향상이 확인되었다.
• 삼중체 거리 훈련만을 수행한 시스템(System 4)은 EER 감소 폭이 가장 크게(12.5% 상대 감소) 나타나 발화자 내부의 응집도 향상이 입증되었다.
• 삼중체 거리와 유사도 네트워크를 모두 공동 훈련한 시스템(System 5)은 개별 구성 요소를 초월하여 성능을 높였으며, 하이퍼파라미터 조정(β 및 γ)을 통해 상호보완적 이점과 트레이드오프를 실현하였다.
• 유사도 네트워크의 비대상 스코어 분포가 기준 시스템보다 더 음수로 이격되어 있어, 더 뛰어난 분류 능력이 입증되었다.
• L2 정규화는 성능 향상에 기여하지 않았다(System 7), 그리고 임베딩 B를 임베딩 A 대신 사용한 경우 성능이 악화되었다(System 8), 이는 제안된 모듈에 대해 임베딩 A가 더 적합함을 시사한다.