[논문 리뷰] Text-Independent Speaker Verification Using Long Short-Term Memory Networks

Aryan Mobiny, Najarian, Mohammad|arXiv (Cornell University)|2018. 05. 02.

Speech Recognition and Synthesis참고 문헌 18인용 수 7

한 줄 요약

이 논문은 MFCC 특징에서 직접적으로 시간적 화자 특성을 모델링하는 텍스트 독립적 화자 확인을 위한 엔드 투 엔드 LSTM 기반 아키텍처를 제안한다. 배경 모델과 화자 모델을 엔드 투 엔드 방식으로 공동으로 학습함으로써, 평가 세트에서 22.9%의 EER을 달성하였으며, GMM-UBM(27.1%) 및 i-vector + PLDA(23.5%) 기반 모델을 능가한다. 특히 짧은 발화에서 뛰어난 성능을 보였다.

ABSTRACT

In this paper, an architecture based on Long Short-Term Memory Networks has been proposed for the text-independent scenario which is aimed to capture the temporal speaker-related information by operating over traditional speech features. For speaker verification, at first, a background model must be created for speaker representation. Then, in enrollment stage, the speaker models will be created based on the enrollment utterances. For this work, the model will be trained in an end-to-end fashion to combine the first two stages. The main goal of end-to-end training is the model being optimized to be consistent with the speaker verification protocol. The end- to-end training jointly learns the background and speaker models by creating the representation space. The LSTM architecture is trained to create a discrimination space for validating the match and non-match pairs for speaker verification. The proposed architecture demonstrate its superiority in the text-independent compared to other traditional methods.

연구 동기 및 목표

• 텍스트 독립적 화자 확인에서 시간적 화자 특이 패턴을 효과적으로 포착하는 엔드 투 엔드 딥 러닝 모델을 개발하는 것.
• 검증 프로토콜에 맞게 배경 모델과 화자 모델 학습을 공동 최적화하여 화자 확인 성능을 향상시키는 것.
• 기존 방법들인 GMM-UBM 및 i-vector보다 LSTMs가 짧은 발화를 다룰 때 우수한 성능을 보임을 입증하는 것.
• 기존 접근 방식과 비교해 LSTMs가 장기적 화자 변동성을 모델링하는 데에서 가지는 한계를 조사하는 것.

제안 방법

• 모델은 1초 발화에서 추출한 원시 음성 특징(MFCC)을 처리하기 위해 LSTM 네트워크를 사용한다. 이는 60% 겹침을 가진다.
• 엔드 투 엔드 학습은 공유 표현 공간을 학습함으로써 배경 모델과 화자 모델을 공동 최적화한다.
• 시아미즈 유사 손실 함수를 사용하며, 대비 손실과 마진 기반 순위를 조합한다: $ C_W = Y \times C_{gen} + (1-Y) \times C_{imp} + \lambda \|W\|_2 $.
• $ C_{gen} $ 및 $ C_{imp} $ 항목은 각각 $ \frac{1}{2} D_W^2 $ 및 $ \frac{1}{2} \max\{0, (M - D_W)\}^2 $로 정의되며, $ M $은 마진이다.
• 학습 중 배치 정규화와 데이터 증강을 사용하여 학습 안정성과 일반화 성능을 향상시킨다.
• 평가 시, 임bedding 간의 거리를 계산하고 진짜 쌍의 최대 및 최소 거리 기반 동적 임계값 전략을 사용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 LSTM 아키텍처는 텍스트 독립적 화자 확인에서 화자 특이 시간 패턴을 효과적으로 학습할 수 있는가?
• RQ2 다양한 발화 길이에서 제안된 모델은 GMM-UBM 및 i-vector와 같은 전통적 방법과 비교해 EER 측면에서 어떻게 성능을 내는가?
• RQ3 LSTM 기반 모델은 기존 모델 대비 짧은 발화에서 여전히 뛰어난 성능을 유지를 하는가?
• RQ4 왜 기존 모델은 더 긴 발화에서 여전히 LSTM을 능가하는가? 그리고 LSTMs가 장기적 화자 변동성을 포착하는 데에서 가지는 한계는 무엇인가?

주요 결과

• 제안된 LSTM 모델은 22.9%의 등가오류률(EER)을 달성하였으며, GMM-UBM(27.1%) 및 i-vector + PLDA(23.5%) 기반 모델을 능가한다.
• 모델은 짧은 발화(1초)에서 기존 방법보다 뚜렷하게 뛰어난 성능을 보이며, 자원이 제한된 환경에서도 강력한 성능을 보였다.
• 더 긴 발화에서는 여전히 기존의 i-vector 기반 모델이 LSTM 모델를 앞서며, 장기적 화자 의존성 포착에 대한 한계를 보여준다.
• 모델 성능은 발화 길이에 민감하며, 짧은 발화 환경에서의 성능 격차가 뚜렷하게 나타난다.
• 대비 손실 함수를 사용한 엔드 투 엔드 학습은 배경 모델링과 화자 모델링의 효과적인 공동 최적화를 가능하게 한다.
• 동적 쌍 선택 알고리즘은 어려운 음성 샘플에 집중함으로써 학습 효율성을 향상시키고 모델의 분류 능력을 강화한다.