[논문 리뷰] Real Additive Margin Softmax for Speaker Verification

Lantian Li, Ruiqian Nai외 1명|arXiv (Cornell University)|2021. 10. 18.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 널리 사용되는 Additive Margin Softmax (AM-Softmax) 손실이 진정으로 최대 마진 학습을 구현하지 못하는 이유는 최대값 연산을 포함한 적절한 마진 함수가 부재하기 때문임을 규명한다. 이를 수정하기 위해 저자들은 Real AM-Softmax를 제안하며, 마진 항에 max(0, ·) 함수를 적용하여 정규화된 최대 마진 목표를 강제함으로써 VoxCeleb1, SITW, CNCeleb 데이터셋 전반에 걸쳐 일관된 성능 향상을 이룬다. 특히 도전적인 조건에서 두드러진 성능 향상이 관찰된다.

ABSTRACT

The additive margin softmax (AM-Softmax) loss has delivered remarkable performance in speaker verification. A supposed behavior of AM-Softmax is that it can shrink within-class variation by putting emphasis on target logits, which in turn improves margin between target and non-target classes. In this paper, we conduct a careful analysis on the behavior of AM-Softmax loss, and show that this loss does not implement real max-margin training. Based on this observation, we present a Real AM-Softmax loss which involves a true margin function in the softmax training. Experiments conducted on VoxCeleb1, SITW and CNCeleb demonstrated that the corrected AM-Softmax loss consistently outperforms the original one. The code has been released at https://gitlab.com/csltstu/sunine.

연구 동기 및 목표

• AM-Softmax가 진정으로 최대 마진 학습을 수행하지 못하는 근본적 결함을 규명하는 것.
• 기존의 마진 기반 소프트맥스 손실이 max(0, ·) 연산을 포함한 적절한 마진 함수를 갖추지 못한 한계를 해결하는 것.
• 진정한 마진 함수를 통합함으로써 정규화된 최대 마진 학습을 강제하는 수정된 손실 함수인 Real AM-Softmax를 제안하는 것.
• VoxCeleb1, SITW, CNCeleb와 같은 다양한 도전적인 화자 확인 벤치마크에서 Real AM-Softmax의 유효성을 검증하는 것.
• 개선된 학습 안정성과 일반화 능력이 딱딱한 음성 샘플(_hard negatives)을 더 잘 다루기 때문에 발생하는 것임을 입증하는 것.

제안 방법

• 저자들은 AM-Softmax 손실을 재표현하여 마진 항을 분리하고, 이 항이 max(0, d_p - d_n + m)를 포함한 정규화된 최대 마진 형식을 갖추지 못하고 있음을 규명한다.
• 마진 항에 max(0, ·) 함수를 적용함으로써 마진 항이 딱딱한 음성 샘플(금지된 양성 쌍에 가까운 샘플)에만 손실을 유발하도록 수정함으로써 Real AM-Softmax를 제안한다.
• 새로운 손실 함수는 ℒ_Real_AM = -1/N ∑ log[ e^{s(cos(θ_yi,i) - m)} / (e^{s(cos(θ_yi,i) - m)} + ∑_{j≠yi} e^{s(cos(θ_j,i))}) ] 로 정의되며, cos(θ_yi,i) - m > 0 인 경우에만 적용되며, 그렇지 않은 경우 마진 항은 0이 된다.
• 모델은 x-vector 아키텍처를 사용하여 프레임 수준의 특징 추출에 ResNet34를, 발화 수준 표현 생성에 통계 풀링을 사용한다.
• 최종 화자 임bedding은 마지막 완전 연결 층에서 생성된 512차원 특징이며, 추론 시에는 코사인 거리가 사용된다.
• 초기화 파rameter m와 s는 개발 세트에서 튜닝되며, 공정한 비교를 위해 AM-Softmax와 Real AM-Softmax 간에 s는 동일하게 유지된다.

실험 결과

연구 질문

• RQ1 표준 AM-Softmax 손실이 의도한 바와 같이 진정으로 최대 마진 학습을 수행하는가?
• RQ2 마진 함수에서 max(0, ·) 연산을 생략할 경우 모델의 일반화 능력과 딱딱한 음성 샘플에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 정규화된 최대 마진 학습을 강제하는 보정된 마진 함수는 다양한 화자 확인 벤치마크에서 일관된 성능 향상을 이끌 수 있는가?
• RQ4 Same-gender 및 same-nationality 시험 조건과 같은 도전적인 테스트 조건에서 Real AM-Softmax의 성능은 AM-Softmax보다 어떻게 비교되는가?
• RQ5 이러한 보정은 AAM-Softmax와 같은 다른 마진 기반 소프트맥스 손실에도 동일하게 적용될 수 있는가?

주요 결과

• Real AM-Softmax는 VoxCeleb1, SITW, CNCeleb를 포함한 모든 평가된 데이터셋에서 표준 AM-Softmax를 일관되게 능가한다.
• 더 어려운 same-gender 및 same-nationality 시험을 포함하는 VoxCeleb1-H에서 Real AM-Softmax는 AM-Softmax보다 상대적 향상을 기록하며, 도전적인 조건에서 더 나은 일반화 능력을 보여준다.
• CNCeleb에서 Real AM-Softmax는 m = 0.20과 s = 30 설정에서 EER 11.049%를 기록하여, 동일한 조건에서 AM-Softmax의 11.450%를 능가한다.
• 개발 및 평가 세트에서의 성능 추세가 Real AM-Softmax와 완벽하게 일치하며, 이는 AM-Softmax보다 더 안정적이고 신뢰할 수 있는 학습을 의미한다.
• 향상 정도는 미미하지만 일관되므로, 마진 함수에 대한 보정이 타당하고 효과적임을 시사한다.
• 저자들은 AAM-Softmax와 같은 다른 마진 기반 손실에도 동일한 진정된 마진 보정을 적용할 경우 유사한 향상 효과를 기대할 수 있다고 추측한다.