[논문 리뷰] Generalized End-to-End Loss for Speaker Verification

Li Wan, Quan Wang외 2명|arXiv (Cornell University)|2017. 10. 28.

Speech Recognition and Synthesis참고 문헌 13인용 수 28

한 줄 요약

이 논문은 초기 튜플 선택이 필요 없이 딱딱한 예제를 동적으로 강조함으로써 학습 효율성과 성능을 향상시키는 스피커 인식을 위한 일반화된 엔드 투 엔드(GE2E) 손실을 소개한다. 기존의 TE2E 손실에 비해 EER을 10퍼센트 이상 감소시키고 학습 시간을 60퍼센트 줄였다. 또한 MultiReader는 다양한 키워드와 방언에 대한 공동 학습을 가능하게 하여 강건한 다영역 적응을 실현한다.

ABSTRACT

In this paper, we propose a new loss function called generalized end-to-end (GE2E) loss, which makes the training of speaker verification models more efficient than our previous tuple-based end-to-end (TE2E) loss function. Unlike TE2E, the GE2E loss function updates the network in a way that emphasizes examples that are difficult to verify at each step of the training process. Additionally, the GE2E loss does not require an initial stage of example selection. With these properties, our model with the new loss function decreases speaker verification EER by more than 10%, while reducing the training time by 60% at the same time. We also introduce the MultiReader technique, which allows us to do domain adaptation - training a more accurate model that supports multiple keywords (i.e. "OK Google" and "Hey Google") as well as multiple dialects.

연구 동기 및 목표

• 엔드 투 엔드 스피커 인식 모델 학습을 위한 더 효율적이고 효과적인 손실 함수를 개발하는 것.
• 학습 과정에서 예제 선택의 초도 단계가 필요 없도록 하여 학습 파이프라인의 단순성을 향상시키는 것.
• 최적화 과정에서 인식하기 어려운 예제에 집중함으로써 모델의 일반화 능력을 향상시키는 것.
• 다양한 키워드(예: 'OK Google', 'Hey Google')와 다방언 스피커 인식을 위한 도메인 적응을 가능하게 하는 것.
• 텍스트 종속 및 텍스트 독립 설정 모두에서 정확도를 향상시키면서도 학습 시간을 단축시키는 것.

제안 방법

• GE2E 손실은 N명의 스피커 각각이 M개의 발화를 가진 배치를 처리하여 효율적이고 대규모 최적화를 가능하게 한다.
• 각 스피커에 대해 L2 정규화된 임베딩의 평균을 취해 M개의 발화 임베딩의 중심점을 계산한다.
• 평가 발화 임베딩과 스피커 중심점 간의 코사인 유사도를 사용하며, 학습 가능한 스케일링 및 이동 파rameter를 포함한다.
• 손실 함수는 양성 및 음성 튜플 손실의 가중합으로 정의되며, 동일한 스피커의 양성 튜플은 높은 유사도를, 다른 스피커의 음성 튜플은 낮은 유사도를 유도하도록 한다.
• GE2E 손실은 각 배치에서 가장 모호하거나 어려운 비교에 기반해 모델를 업데이트함으로써 딱딱한 예제를 동적으로 강조한다.
• MultiReader 기법은 'OK Google'과 'Hey Google'과 같은 다양한 데이터 소스 간의 공동 학습을 가능하게 하며, 데이터 소스의 불균형을 고려한 공통 임베딩 공간을 학습한다.

실험 결과

연구 질문

• RQ1 명시적인 예제 선택이 필요 없이 일반화된 엔드 투 엔드 손실 함수가 스피커 인식에서 학습 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 텍스트 종속 및 텍스트 독립 설정 모두에서 GE2E 손실은 기존의 TE2E 손실에 비해 EER과 학습 속도 측면에서 어떻게 비교되는가?
• RQ3 MultiReader 기법은 크기와 분포가 다른 여러 데이터 소스를 효과적으로 통합하여 다키워드 및 다방언 스피커 인식의 모델 강건성 향상에 기여하는가?
• RQ4 GE2E 손실이 학습 중 딱딱한 예제에 집중함으로써 더 나은 일반화를 이끌어내는가?
• RQ5 GE2E와 MultiReader의 조합이 실제 스피커 인식 환경에서 EER과 학습 시간을 얼마나 줄이는가?

주요 결과

• GE2E 손실은 텍스트 종속 및 텍스트 독립 작업 모두에서 TE2E 기준선 대비 스피커 인식의 등오류률(EER)을 10퍼센트 이상 감소시켰다.
• GE2E로 학습하는 것은 TE2E에 비해 약 60퍼센트 더 빠르며, 학습 효율성이 크게 향상되었다.
• MultiReader 기법은 모든 네 가지 테스트 케이스(예: 'OK Google' 등록 시 'Hey Google' 검증)에서 약 30퍼센트의 상대적 EER 향상을 달성했다.
• 텍스트 독립 스피커 인식에서 GE2E는 EER 3.55퍼센트를 기록하여 TE2E(4.13퍼센트)와 Softmax(4.06퍼센트)를 초월해 10퍼센트 이상의 상대적 향상을 이뤘다.
• 18,000명의 스피커에서 온 3600만 건의 발화로 훈련된 GE2E 모델은 더 빠른 수렴과 더 나은 일반화 능력을 보였으며, 학습 속도는 TE2E 대비 약 3배 빠르게 나타났다.
• GE2E와 MultiReader의 조합은 훈련 데이터 소스가 크게 불균형하더라도, 다양한 키워드와 방언을 동시에 지원하는 고정확도의 단일 모델을 가능하게 했다.