[논문 리뷰] Large Margin Softmax Loss for Speaker Verification

Yi Liu, Liang He외 1명|ArXiv.org|2019. 04. 06.

Speech Recognition and Synthesis참고 문헌 32인용 수 17

한 줄 요약

이 논문은 AM-Softmax에 Ring 손실과 최소 초구면 에너지(MHE) 기준을 통합하여 화자 확인을 위한 향상된 대용량 마진 소프트맥스 손실을 제안하며, 분류 가능한 특징 학습을 크게 향상시킨다. VoxCeleb에서 최고의 시스템은 기준값 대비 EER을 15% 감소시키고, minDCF08을 13% 감소시키며, minDCF10을 33% 감소시킨다.

ABSTRACT

In neural network based speaker verification, speaker embedding is expected to be discriminative between speakers while the intra-speaker distance should remain small. A variety of loss functions have been proposed to achieve this goal. In this paper, we investigate the large margin softmax loss with different configurations in speaker verification. Ring loss and minimum hyperspherical energy criterion are introduced to further improve the performance. Results on VoxCeleb show that our best system outperforms the baseline approach by 15\% in EER, and by 13\%, 33\% in minDCF08 and minDCF10, respectively.

연구 동기 및 목표

• 신경망 기반 화자 확인에서 화자 임bedding의 분류 가능성을 높이고 내부 화자 집합의 밀도를 향상시키기.
• 표준 소프트맥스 손실이 부류 간 분리나 내부 부류의 밀도를 명시적으로 장려하지 않는 한계를 해결하기.
• 대용량 마진 소프트맥스 변종(ASoftmax, ArcSoftmax, AMSoftmax)이 화자 확인 성능에 미치는 영향을 조사하기.
• 보조 손실(Ring 손실 및 MHE)을 통합하여 특징 공간의 분리 가능성과 강건성을 더욱 향상시키기.
• 최소한의 백엔드 복잡성으로 VoxCeleb에서 최고 수준의 성능을 달성하며, 이상적으로는 PLDA 없이도 단순 코사인 스코어링이 가능하도록 하기.

제안 방법

• 화자 임베딩 간 초구면에서의 각도 분리를 강제하기 위해 추가 마진을 가진 AM-Softmax를 사용하여 특징 공간의 각도 분리를 확보한다.
• 특징 노름의 변동성을 안정화하고 척도에 대한 민감도를 줄이기 위해 Ring 손실을 소프트 정규화로 적용한다.
• 초구면 상에서 화자 간 거리의 분산을 최대화하여 전체 분리 가능성 향상을 위해 최소 초구면 에너지(MHE) 손실을 도입한다.
• 특징 정규화와 출력층에서의 각도 마진을 사용하여 크기보다는 코사인 유사도에 집중한다.
• 통합된 손실 함수를 사용하여 x-vector 아키텍처를 엔드 투 엔드 최적화 방식으로 훈련한다.
• 평가에는 코사인 스코어링과 LDA, PLDA를 사용하지만, 향후 연구에서는 PLDA 의존성을 제거하는 것을 목표로 한다.

실험 결과

연구 질문

• RQ1 다양한 대용량 마진 소프트맥스 변종(ASoftmax, ArcSoftmax, AMSoftmax)이 화자 확인 성능에서 어떻게 비교되는가?
• RQ2 Ring 손실이 특징 노름 변동성을 안정화하고 화자 임베딩 학습의 안정성 향상에 효과적인가?
• RQ3 MHE 기준이 초구면 상에서 화자 중심의 균일한 분포를 촉진함으로써 화자 간 분리 가능성 향상에 기여하는가?
• RQ4 화자 확인 맥락에서 각 대용량 마진 소프트맥스 변종에 가장 적합한 마진 설정은 무엇인가?
• RQ5 AMSoftmax와 MHE 손실의 조합이 복잡한 백엔드 분류기(예: PLDA)에 의존하지 않으면서 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• AM-Softmax에 MHE 손실을 적용한 최고의 시스템은 EER을 3.10%에서 2.00%로 감소시켜 기준값 대비 15%의 상대적 향상률을 기록했다.
• AM-Softmax + MHE 시스템은 minDCF08을 0.0169에서 0.0106으로, 13%의 상대적 향상률을 기록했고, minDCF10을 0.4977에서 0.2487로 33%의 상대적 향상률을 기록했다.
• AMSoftmax는 모든 지표에서 ASoftmax와 ArcSoftmax를 압도적으로 능가하며, 최적의 마진 $m_3 = 0.20$을 기록했다.
• MHE 손실은 정규화된 화자 가중치 간 쌍별 제곱 거리의 분산을 감소시켜 초구면 상에서 더 균일하고 분리 가능한 분포를 나타낸다.
• Ring 손실은 마진 기반 손실과 함께 사용될 경우 특징 노름 변동성을 감소시키지만, AMSoftmax가 이미 노름을 효과적으로 제약하기 때문에 그 영향은 상대적으로 작다.
• AM-Softmax + MHE 조합이 최고의 성능을 기록한 것은 MHE를 통한 화자 간 분리 가능성 극대화가 노름 정규화만으로는 더 효과적임을 시사한다.