[논문 리뷰] Bayesian x-vector: Bayesian Neural Network based x-vector System for Speaker Verification

Xu Li, Jinghua Zhong외 5명|arXiv (Cornell University)|2020. 04. 08.

Speech Recognition and Synthesis참고 문헌 27인용 수 5

한 줄 요약

이 논문은 데이터 분포 불일치 상황에서 일반화 능력을 향상시키기 위해 베이지안 신경망(BNN)을 강화한 딥 신경망(DNN) x-vector 시스템인 베이지안 x-vector를 제안한다. TDNN 레이어에서 변분 추론을 통해 가중치의 불확실성을 모델링함으로써 과적합을 줄이고, 특히 도메인 외 조건에서의 강인성을 향상시킨다. NIST SRE10 평가에서 4.69%의 상대적 EER 감소를 달성했으며, 융합 시 6.53% 향상되었다.

ABSTRACT

Speaker verification systems usually suffer from the mismatch problem between training and evaluation data, such as speaker population mismatch, the channel and environment variations. In order to address this issue, it requires the system to have good generalization ability on unseen data. In this work, we incorporate Bayesian neural networks (BNNs) into the deep neural network (DNN) x-vector speaker verification system to improve the system's generalization ability. With the weight uncertainty modeling provided by BNNs, we expect the system could generalize better on the evaluation data and make verification decisions more accurately. Our experiment results indicate that the DNN x-vector system could benefit from BNNs especially when the mismatch problem is severe for evaluations using out-of-domain data. Specifically, results show that the system could benefit from BNNs by a relative EER decrease of 2.66% and 2.32% respectively for short- and long-utterance in-domain evaluations. Additionally, the fusion of DNN x-vector and Bayesian x-vector systems could achieve further improvement. Moreover, experiments conducted by out-of-domain evaluations, e.g. models trained on Voxceleb1 while evaluated on NIST SRE10 core test, suggest that BNNs could bring a larger relative EER decrease of around 4.69%.

연구 동기 및 목표

• 발화자 인식 시스템의 일반화 도전 과제를 해결하기 위해, 발화자 인구, 채널, 환경 변화와 같은 데이터 불일치 상황을 고려한다.
• 미리 보지 못한 또는 도메인 외 데이터에서 평가될 때 DNN x-vector 시스템의 강인성을 향상시킨다.
• 베이지안 신경망(BNN)이 발화자 인식에서 모델의 불확실성 추정을 향상시키고 의사결정 신뢰도를 높일 수 있는지 조사한다.
• BNN의 효과성을 도메인 내 및 도메인 외 평가 시나리오에서 평가한다.
• 결정적 및 베이지안 x-vector 시스템의 융합을 통해 성능 향상을 추가로 달성한다.

제안 방법

• x-vector 추출기의 표준 결정론적 TDNN 레이어를 베이지안 신경망(BNN) 레이어로 대체하여 변분 추론을 통해 매개변수 불확실성을 모델링한다.
• 신경망 가중치에 대한 사후분포를 사용하여 과적합을 줄이고, 미리 보지 못한 데이터에 대한 일반화 능력을 향상시킨다.
• 예측 불확실성을 추정하기 위해 추론 중에 스토케스틱 웨이트 평균화와 몬테카를로 드롭아웃을 적용한다.
• 기존의 코사인 및 PLDA 스코링 백엔드와 BNN 기반 발화자 임베딩을 통합하여 인식을 수행한다.
• 결정적 DNN x-vector 및 베이지안 x-vector 시스템의 융합을 통해 상호보완적 강점을 결합한다.
• 사후분포를 정규화하기 위해 가능도와 KL 발산의 균형을 맞추는 변분 추론 목표를 사용해 BNN을 훈련한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망은 데이터 분포 불일치 상황에서 DNN x-vector 시스템의 일반화 능력을 향상시킬 수 있는가?
• RQ2 BNN 내 불확실성 모델링은 짧은 발화 및 긴 발화 인식 작업 성능에 어떤 영향을 미치는가?
• RQ3 베이지안 x-vector 시스템은 도메인 내 평가보다 도메인 외 평가에서 더 큰 향상을 보이는가?
• RQ4 결정적 및 베이지안 x-vector 시스템의 융합이 추가적인 성능 향상을 달성할 수 있는가?
• RQ5 BNN 내 불확실성 모델링이 채널 및 발화자 특성에 대한 과적합을 완화하는 데 기여하는가?

주요 결과

• 베이지안 x-vector 시스템은 짧은 발화 도메인 내 평가에서 2.66% 상대적 EER 감소, 긴 발화 평가에서는 2.32% 감소를 달성했다.
• DNN x-vector 및 베이지안 x-vector 시스템의 융합은 성능을 추가로 향상시켰으며, 짧은 발화에서는 7.24% 상대적 EER 감소, 긴 발화에서는 3.08% 감소를 기록했다.
• 도메인 외 평가(VCeleb1 훈련, NIST SRE10 테스트)에서 베이지안 시스템은 평균 4.69% EER 감소를 기록했고, 융합 시스템은 6.53% 감소를 달성했다.
• 도메인 외 평가에서의 향상 폭이 도메인 내 평가보다 더 크며, 이는 베이지안 학습이 높은 데이터 불일치 상황에서 특히 유익함을 시사한다.
• 검출 오류 무역도(DET) 곡선은 도메인 내 및 도메인 외 설정 모두에서 모든 운영 지점에서 일관된 성능 향상을 확인했다.
• 결과는 코사인 및 PLDA 스코링 백엔드 양쪽 모두에서 일관되게 나타났으며, 베이지안 접근의 강인성을 검증했다.