[논문 리뷰] Deep Speaker: an End-to-End Neural Speaker Embedding System

Chao Li, Xiaokong Ma외 7명|arXiv (Cornell University)|2017. 05. 05.

Speech Recognition and Synthesis참고 문헌 14인용 수 426

한 줄 요약

Deep Speaker는 ResCNN 또는 GRU 프레임 추출기를 사용하고 triplet loss 및 softmax 프리트레이닝으로 hypersphere에 매핑되는 end-to-end 화자 임베딩을 제안하며, i-vector 기준선 대비 상당한 개선을 달성하고 언어 간 전이 가능성을 보임.

ABSTRACT

We present Deep Speaker, a neural speaker embedding system that maps utterances to a hypersphere where speaker similarity is measured by cosine similarity. The embeddings generated by Deep Speaker can be used for many tasks, including speaker identification, verification, and clustering. We experiment with ResCNN and GRU architectures to extract the acoustic features, then mean pool to produce utterance-level speaker embeddings, and train using triplet loss based on cosine similarity. Experiments on three distinct datasets suggest that Deep Speaker outperforms a DNN-based i-vector baseline. For example, Deep Speaker reduces the verification equal error rate by 50% (relatively) and improves the identification accuracy by 60% (relatively) on a text-independent dataset. We also present results that suggest adapting from a model trained with Mandarin can improve accuracy for English speaker recognition.

연구 동기 및 목표

• 발화-수준 유사성을 직접 최적화하는 강건한 end-to-end 임베딩 접근법을 모티브화한다.
• 프레임 수준 특징 추출을 위한 두 가지 심층 아키텍처(ResCNN 및 GRU)를 개발하고 비교한다.
• mean pooling과 코사인 정규화를 이용해 발화 임베딩을 학습하고 triplet loss로 최적화한다.
• softmax 프리트레이닝 및 다중-GPU를 통한 hard negative mining으로 학습을 안정화하고 수렴 속도를 향상시킨다.
• 중국어-영어 간 교차 언어 전이 및 데이터 규모와 enrollment 발화 수의 영향을 시연한다.

제안 방법

• 프레임 수준 특징을 위한 두 가지 심층 아키텍처를 사용: 잔차 CNN(ResCNN) 및 적층 GRU 네트워크.
• 발화 표현을 얻기 위해 문장 수준 평균 풀링을 적용하고, 길이 정규화를 갖는 512차 임베딩으로의 선형 사영을 수행한다.
• 같은 화자 간 쌍의 유사도를 서로 다른 화자 간 쌍보다 더 크게 하도록 하는 코사인 기반 triplet loss를 사용하고, hard negatives를 across-GPU에서 찾는다.
• triplet-loss 미세 조정 전에 안정화/초기화를 위한 분류 층이 있는 softmax 프리-train을 사용한다.
• 미니배치 내에서 어려운 네거티브를 선택하기 위해 across-GPU에서 하드 네거티브 마이닝을 탐색하여 수렴 동작을 향상시킨다.
• 성능 향상을 위해 embedding 또는 스코어 융합을 통해 ResCNN과 GRU를 선택적으로 결합할 수 있다.

실험 결과

연구 질문

• RQ1 end-to-end 임베딩 학습이 triplet loss를 사용했을 때 텍스트 독립 및 텍스트 의존 태스크에서 전통적인 i-vector 기준선보다 우수한가?
• RQ2 ResCNN과 GRU 아키텍처가 Mandarin과 English 데이터셋에서 견고한 화자 임베딩을 생성하는 데 어떤 차이가 있는가?
• RQ3 softmax 프리-train 및 cross-GPU hard negative mining이 학습 안정성과 최종 정확도에 어떤 영향을 미치는가?
• RQ4 학습 데이터 규모, enrollment 발화 수, 교차 언어 적응이 성능에 어떤 영향을 주는가?
• RQ5 Deep Speaker가 Mandarin에서 English로 교차 언어 전이하고 텍스트 의존 시나리오에서도 효과적으로 작동하는가?

주요 결과

• Deep Speaker는 Mandarin UID에서 검증 EER를 대략 50-80% 감소시키고 식별 오차를 60-70% 감소시키며 DNN i-vector 대비 우수한 성능을 보인다.
• softmax 프리-train에 이어 triplet 파인튜닝이 ResCNN과 GRU 모두에서 최상의 성능을 제공한다.
• Mandarin 텍스트 독립 태스크에서, softmax+triplet을 적용한 ResCNN은 2.23% EER 및 90.53% ACC를 달성했고, DNN i-vector 기준선은 13.79% EER 및 51.72% ACC이다.
• MTurk 영어 데이터에서 미세 조정된 모델은 상당한 이득을 달성한다(예: EER 약 2.4-2.7% 감소 및 높은 ACC).
• Train50k에서 Train250k으로 데이터가 증가하면 성능이 개선된다(예: ResCNN: EER 2.23%에서 1.83%로, ACC 90.53%에서 92.58%로 상승).
• Enrollment 발화 수는 EER/ACC를 개선하되 수익 감소가 나타나는 구간이 존재한다(예: 1→5 enrollment에서 유의한 증가).
• 대규모(텍스트 독립) 데이터로 학습된 Deep Speaker 모델은 XiaoDu의 텍스트 의존 태스크 및 cross-language MTurk 작업으로 효과적으로 전이되며, 추가 미세 조정으로 성능이 더 향상된다.