[논문 리뷰] Margin Matters: Towards More Discriminative Deep Neural Network Embeddings for Speaker Recognition

Xu Xiang, Shuai Wang외 3명|arXiv (Cornell University)|2019. 06. 18.

Speech Recognition and Synthesis참고 문헌 25인용 수 22

한 줄 요약

이 논문은 딥 네ural 네트워크에서 구분형 화자 임베딩 학습을 향상시키기 위해 마진 기반 손실 함수인 A-Softmax, AM-Softmax, AAM-Softmax를 제안한다. 클래스 간 간격과 클래스 내 밀도를 명시적으로 강제화함으로써, 표준 Softmax 손실 대비 VoxCeleb1(2.238%)과 SITW(2.761%)에서 EER을 25%~30% 감소시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, speaker embeddings extracted from a speaker discriminative deep neural network (DNN) yield better performance than the conventional methods such as i-vector. In most cases, the DNN speaker classifier is trained using cross entropy loss with softmax. However, this kind of loss function does not explicitly encourage inter-class separability and intra-class compactness. As a result, the embeddings are not optimal for speaker recognition tasks. In this paper, to address this issue, three different margin based losses which not only separate classes but also demand a fixed margin between classes are introduced to deep speaker embedding learning. It could be demonstrated that the margin is the key to obtain more discriminative speaker embeddings. Experiments are conducted on two public text independent tasks: VoxCeleb1 and Speaker in The Wild (SITW). The proposed approach can achieve the state-of-the-art performance, with 25% ~ 30% equal error rate (EER) reduction on both tasks when compared to strong baselines using cross entropy loss with softmax, obtaining 2.238% EER on VoxCeleb1 test set and 2.761% EER on SITW core-core test set, respectively.

연구 동기 및 목표

• 표준 Softmax 손실이 화자 임베딩에서 클래스 간 분리성과 클래스 내 밀도를 향상시키는 데 한계가 있음을 해결하기 위해.
• 분류 마진을 명시적으로 모델링하면 딥 화자 임베딩 시스템의 일반화 능력과 구분 능력 향상에 기여하는지 조사하기 위해.
• A-Softmax, AM-Softmax, AAM-Softmax의 세 가지 마진 기반 손실 함수가 표준 화자 인식 벤치마크에서 얼마나 효과적인지 평가하기 위해.
• x-vector 기반 DNN을 사용하여 텍스트 독립형 화자 인식 작업에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• A-Softmax 손실을 도입하여, 마진 파rameter m을 사용해 로짓을 수정함으로써 각도 공간에서 마진을 강제한다.
• AM-Softmax 손실을 제안하여, 가중치 벡터와 입력 임베딩 간 코사인 유사도에 직접 마진을 추가한다.
• AAM-Softmax 손실을 도입하여 각도 공간에서의 마진을 유지하면서 코사인 공간에서도 마진을 적용한다.
• 표준 x-vector DNN 아키텍처를 사용하며, 시간 지연층, 통계 풀링, 배치 정규화를 포함하고, 제안된 마진 기반 손실로 훈련한다.
• 데이터 증강을 적용하고, 확률적 경사 하강법을 최적화에 사용하며, 최종 은닉층에서 임베딩을 추출한다.
• 인터클래스 분리성과 인트라클래스 밀도 간 균형을 맞추기 위해 마진 파rameter m을 튜닝한다.

실험 결과

연구 질문

• RQ1 클래스 간에 명시적인 마진을 강제하면 딥 화자 임베딩의 구분 능력이 향상되는가?
• RQ2 A-Softmax, AM-Softmax, AAM-Softmax와 같은 다양한 마진 기반 손실 함수는 임베딩 품질과 인식 성능 측면에서 어떻게 비교되는가?
• RQ3 마진 기반 손실이 텍스트 독립형 화자 인식 작업에서 표준 Softmax 손실을 능가할 수 있는가?
• RQ4 마진 크기가 미지의 화자에 대한 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 마진 기반 훈련이 VoxCeleb1과 SITW와 같은 표준 벤치마크에서 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• AAM-Softmax 손실은 VoxCeleb1에서 최고 성능을 기록하여 EER을 2.238%로 낮추었으며, Softmax 기준 30%의 상대적 감소를 기록했다.
• SITW 코어-코어 테스트 세트에서 AAM-Softmax 시스템은 2.761%의 EER을 기록하여 Softmax 기준 25%의 상대적 EER 감소를 달성했다.
• 세 가지 마진 기반 손실(A-Softmax, AM-Softmax, AAM-Softmax) 모두 표준 Softmax 손실보다 유의미하게 뛰어나며, 두 데이터셋 모두에서 일관된 EER 감소를 보였다.
• AAM-Softmax 손실은 인터클래스 분리성과 인트라클래스 밀도 간의 최적 균형을 달성하여, 미지의 화자에 대한 일반화 능력이 향상되었다.
• 데이터 증강 없이 VoxCeleb2 개발 세트에서만 훈련한 경우에도 AAM-Softmax 시스템은 VoxCeleb1에서 16%의 EER 감소, VoxCeleb1-E에서 12%, 어려운 VoxCeleb1-H 서브셋에서는 6%의 EER 감소를 기록했다.
• 결과는 마진 강제가 더 구분 능력 있는 화자 임베딩을 학습하는 데 핵심 요소임을 확인하며, 실제 평가 세트에서의 강인성과 성능 향상에 크게 기여한다.