[논문 리뷰] VAE-based regularization for deep speaker embedding

Yang Zhang, Lantian Li외 1명|arXiv (Cornell University)|2019. 04. 07.

Speech Recognition and Synthesis참고 문헌 22인용 수 4

한 줄 요약

이 논문은 비정규분포를 띠는 x-벡터를 더 정규분포에 가까운 잠재 코드로 변환하기 위한 VAE 기반 정규화 방법을 제안한다. 이는 PLDA 스코링과의 호환성을 향상시킨다. 변분 오토인코더와 발화자 일관성 손실을 조합함으로써, 이 방법은 SITW 및 CSLT-SITW 데이터셋에서 기존 x-벡터와 PCA, AE와 같은 대안적 정규화 방법을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep speaker embedding has achieved state-of-the-art performance in speaker recognition. A potential problem of these embedded vectors (called `x-vectors') are not Gaussian, causing performance degradation with the famous PLDA back-end scoring. In this paper, we propose a regularization approach based on Variational Auto-Encoder (VAE). This model transforms x-vectors to a latent space where mapped latent codes are more Gaussian, hence more suitable for PLDA scoring.

연구 동기 및 목표

• 딥 네ural 네트워크에서 유도된 x-벡터가 제약 없이 비정규분포임으로 인해 PLDA 성능이 떨어지는 문제를 해결하기 위해.
• 변분 오토인코더(VAE) 아키텍처를 사용하여 x-벡터를 더 정규분포에 가까운 잠재 공간으로 정규화하기 위해.
• 발화자 조건부 분포를 제약하는 발화자 일관성 손실을 도입하여 정규화를 향상시키기 위해.
• VAE 기반 정규화와 PLDA 스코링이 상호보완적임을 입증하기 위해, 코사인 스코링 및 PLDA 스코링 성능을 모두 향상시키기 위해.

제안 방법

• VAE는 원시 x-벡터를 정규분포에 가까운 잠재 공간으로 매핑하도록 훈련되며, 여기서 발화자 코드의 주변 분포가 약간 정규분포에 가까워진다.
• VAE는 변분 사후분포와 사전분포의 엔드 투 엔드 훈련을 가능하게 하는 재생성 기법을 사용한다.
• PLDA 가정에 부합하기 위해, 발화자 조건부 분포가 더 정규분포에 가까워지도록 유도하기 위해 발화자 일관성 손실이 도입된다.
• 재구성 손실, KL 발산, 그리고 일관성 손실을 함께 최적화하여 주변분포와 조건부분포 양쪽을 정규화한다.
• 결과적으로 유도된 잠재 코드(v-벡터 및 c-벡터)는 코사인 유사도 또는 PLDA를 사용한 후행 스코링에 활용된다.
• 이 방법은 SITW 및 CSLT-SITW 데이터셋에서 x-벡터, PCA, AE, PLDA 기준선과 비교하여 평가된다.

실험 결과

연구 질문

• RQ1 VAE는 비정규분포를 띠는 x-벡터를 PLDA 스코링에 적합한 더 정규분포에 가까운 잠재 공간으로 효과적으로 정규화할 수 있는가?
• RQ2 발화자 일관성 손실을 추가함으로써 잠재 공간 내 발화자 조건부 분포의 정규화가 향상되는가?
• RQ3 비정규화된 방법인 PCA 및 AE와 비교할 때, VAE 기반 정규화는 발화자 확인 작업에서 성능 면에서 어떻게 다른가?
• RQ4 VAE 기반 정규화는 PLDA와 상호보완적인가, 아니면 PLDA의 필요성을 대체하는가?
• RQ5 VAE 정규화 표현은 SITW와 유사하지만 더 복잡한 음향 조건을 가진 외부 도메인 설정인 CSLT-SITW에서도 더 잘 일반화되는가?

주요 결과

• SITW Dev. Core 셋에서, VAE 정규화 c-벡터는 L-PLDA 스코링에서 EER 3.31%를 기록하여 x-벡터 기준선(3.12% with L-PLDA)과 코사인 스코링(9.05% EER)을 모두 능가했다.
• SITW Eval. Core 셋에서, c-벡터는 L-PLDA 스코링에서 EER 3.53%를 기록하여 x-벡터 기준선(3.80% EER with L-PLDA)을 뚜렷이 앞섰다.
• CSLT-SITW에서의 외부 도메인 테스트에서는, c-벡터가 P-PLDA 스코링에서 EER 11.98%를 기록하여 SITW에서의 성능 향상보다 더 큰 개선을 보였다. 이는 복잡한 음향 조건에 대한 강건성을 시사한다.
• v-벡터와 c-벡터는 x-벡터보다 훨씬 낮은 비대칭도와 첨도를 보였으며, 특히 발화자 수준에서 더 정규분포에 가까운 분포임을 확인했다.
• PCA와 AE는 더 높은 EER와 더 비정규분포를 보이며 적절한 정규화를 이루지 못했다. 이는 VAE의 확률적 성격이 중요함을 시사한다.
• VAE 기반 정규화는 사전분포를 암묵적으로 정규화하여 PLDA 모델링에 더 적합하게 만들었으며, 이는 발화자 수준 통계에서 첨도가 감소한 것으로 확인되었다.