[논문 리뷰] Investigation of Using VAE for i-Vector Speaker Verification

Timur Pekhovsky, Maxim Korenevsky|arXiv (Cornell University)|2017. 05. 25.

Speech Recognition and Synthesis참고 문헌 10인용 수 5

한 줄 요약

이 논문은 i-벡터를 사용한 변분 오토인코더(VAE)-기반의 화자 확인 시스템을 제안하며, VAE가 비지도 학습 방식으로 효과적인 화자 임bedding를 학습할 수 있음을 보여준다. i-벡터가 거의 정규분포임에도 불구하고, '부드러운'(soft) $β$-VAE 모드를 사용한 VAE는 전체 공분산 PLDA에 준하는 성능을 달성하며, 일부 설정에서는 대각행렬 PLDA를 능가한다.

ABSTRACT

New system for i-vector speaker recognition based on variational autoencoder (VAE) is investigated. VAE is a promising approach for developing accurate deep nonlinear generative models of complex data. Experiments show that VAE provides speaker embedding and can be effectively trained in an unsupervised manner. LLR estimate for VAE is developed. Experiments on NIST SRE 2010 data demonstrate its correctness. Additionally, we show that the performance of VAE-based system in the i-vectors space is close to that of the diagonal PLDA. Several interesting results are also observed in the experiments with $β$-VAE. In particular, we found that for $β\ll 1$, VAE can be trained to capture the features of complex input data distributions in an effective way, which is hard to obtain in the standard VAE ($β=1$).

연구 동기 및 목표

• i-벡터 공간에서 VAE를 화자 인식을 위한 확인 백엔드로 사용할 수 있는지의 가능성을 조사한다.
• VAE 기반 화자 확인을 위한 로그 우도 비율(LLR) 추정 방법을 개발한다.
• 표준 VAE와 대각행렬 PLDA를 초월해 $β$-VAE가 더 높은 모델링 능력을 가지는지 평가한다.
• 다양한 데이터 및 아키텍처 조건에서 VAE의 성능을 기존의 전통적 PLDA 모델과 비교한다.

제안 방법

• 비선형성을 제공하기 위해 결정론적 히든 레이어를 포함한 단일 스토케스틱 히든 레이어를 가진 깊이 있는 피드포워드 VAE를 사용한다.
• 모델은 대각행렬 정밀도 행렬과 정규분포 사전확률을 사용하여 변분 하한에서 KL 발산을 분석적으로 계산할 수 있도록 한다.
• 재구성 오차와 잠재공간 정규화 간의 트레이드오프를 제어하기 위해 목적함수를 수정한 $β$-VAE 버전을 사용한다.
• 재구성 오차와 잠재공간 정규화 간의 트레이드오프를 제어하기 위해 목적함수를 수정한 $β$-VAE 버전을 사용한다.
• 실험은 i-벡터의 차원 감소를 위해 주성분분석(PCA)을 적용하고 다양한 네트워크 아키텍처를 사용한 NIST SRE 2010 및 RusTelecom 데이터셋에서 수행된다.

실험 결과

연구 질문

• RQ1 i-벡터가 거의 정규분포임에도 불구하고, VAE 기반 시스템이 화자 확인을 위해 i-벡터를 효과적으로 모델링할 수 있는가?
• RQ2 VAE를 위한 새롭게 유도된 LLR 추정치가 PLDA와 비교해 신뢰할 수 있는 성능을 보이는가?
• RQ3 표준 VAE($β=1$)보다 $β \ll 1$인 $β$-VAE가 i-벡터 공간에서 더 복잡한 데이터 분포를 학습할 수 있는가?
• RQ4 i-벡터 차원과 네트워크 구성이 다양할 때 VAE의 성능이 대각행렬 및 전체 공분산 PLDA와 어떻게 비교되는가?

주요 결과

• NIST-2010 코퍼스에서 $K=1$일 때 VAE 기반 시스템은 EER 3.22%와 minDCF 0.417을 달성하며, EER에서는 대각행렬 PLDA(EER: 3.13%, minDCF: 0.433)를 능가하지만 minDCF에서는 그렇지 않다.
• '부드러운'(soft) $β$-VAE 모드($β=10^{-6}$)에서 최적의 구성($D_x=400, D_d=100, D_h=50$)은 NIST-2010에서 EER 3.98%와 minDCF 0.497을 기록하며, 표준 VAE보다 더 우수한 일반화 성능을 보였다.
• 더 큰 RusTelecom 코퍼스($D_x=600$)에서는 '부드러운'(soft) $β$-VAE가 EER 2.53%와 minDCF 0.510을 달성했으며, 전체 공분산 PLDA(EER: 1.63%, minDCF: 0.644)에 수렴하지만 이를 초월하지는 못했다.
• 표준 VAE($β=1$)는 NIST-2010에서 PCA=10일 때 EER 약 9.8–10.0%로 대각행렬 PLDA와 유사한 성능을 보였으며, 이 수준에서 더 이상 향상되지 않았다.
• '부드러운'(soft) $β$-VAE는 $D_h=40$에서 $D_h=100$ 사이에서 성능 최적점이 나타나, i-벡터 공간 내 복잡한 분포를 포착하는 데 최적의 능력을 가짐을 시사한다.
• LLR 추정치는 $K$(시험 횟수)의 변화에 대해 안정적이며, 다양한 테스트 조건에서도 일관된 성능을 보였다.