[논문 리뷰] Pairwise Discriminative Neural PLDA for Speaker Verification

Shreyas Ramoji, Prashant Krishnan외 2명|arXiv (Cornell University)|2020. 01. 20.

Speech Recognition and Synthesis참고 문헌 21인용 수 4

한 줄 요약

이 논문은 x-vector를 사용하여 발화자 확인을 위한 쌍별 판별 신경형 PLDA 모델을 제안한다. 이 모델은 전처리(선형판별분석(LDA), 정규화)와 점수 산정을 함께 학습한다. 이러한 레이어들을 미분 가능하게 하고 NIST SRE 탐지비용의 연속적 근사치를 최적화함으로써, PLDA 기준 대비 CMN2 조건에서 30%의 상대적 향상과 VAST 조건에서 30%의 상대적 향상을 달성하며, 더 나은 일반화 능력과 과적합 감소를 입증한다.

ABSTRACT

The state-of-art approach to speaker verification involves the extraction of discriminative embeddings like x-vectors followed by a generative model back-end using a probabilistic linear discriminant analysis (PLDA). In this paper, we propose a Pairwise neural discriminative model for the task of speaker verification which operates on a pair of speaker embeddings such as x-vectors/i-vectors and outputs a score that can be considered as a scaled log-likelihood ratio. We construct a differentiable cost function which approximates speaker verification loss, namely the minimum detection cost. The pre-processing steps of linear discriminant analysis (LDA), unit length normalization and within class covariance normalization are all modeled as layers of a neural model and the speaker verification cost functions can be back-propagated through these layers during training. We also explore regularization techniques to prevent overfitting, which is a major concern in using discriminative back-end models for verification tasks. The experiments are performed on the NIST SRE 2018 development and evaluation datasets. We observe average relative improvements of 8% in CMN2 condition and 30% in VAST condition over the PLDA baseline system.

연구 동기 및 목표

• 작업에 특화된 손실 함수를 사용하여 발화자 확인의 판별적 백엔드에서의 과적합 문제를 해결하기 위해.
• 전처리 단계(LDA, 정규화)와 점수 산정을 종단간 학습 가능한 신경망 아키텍처로 통합하기 위해.
• 이진 교차엔트로피 대신 NIST SRE 탐지비용의 연속적 근사치를 사용하여, 미지의 데이터에 대한 일반화 능력을 향상시키기 위해.
• 생성형 PLDA에서의 파라미터 초기화를 통해 성능 향상을 탐색하기 위해.
• 파라미터 효율적인 신경형 PLDA가 SRE 2018 데이터셋에서 기존의 PLDA와 DPLDA를 능가할 수 있음을 입증하기 위해.

제안 방법

• 모델은 등록 및 테스트용 x-vector 쌍을 입력으로 받아, 스케일링된 로그우도비율로 해석되는 점수를 출력한다.
• 전처리 단계(LDA, 단위 길이 정규화, WCCN)는 미분 가능한 신경층으로 모델링되어 전체 파이프라인을 거쳐 역전파가 가능하도록 한다.
• 주요 손실 함수로는 NIST SRE 최소 탐지비용(C_min)의 미분 가능한 연속적 근사치를 사용하여, 잘못된 경고 감소를 우선시한다.
• 배치 크기를 4096~8192로 설정하고, 검증 손실이 정체될 경우 학습률 스케줄이 감소하도록 학습한다.
• 신경망은 무작위 초기화 또는 Kaldi PLDA 기준 파라미터로 초기화하여 수렴성과 성능 향상을 향상시킨다.
• 과적합 방지를 위해 아키텍처 제약과 손실 함수 선택을 통해 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 전처리와 점수 산정을 함께 학습하는 신경 백엔드가 기존의 PLDA 대비 발화자 확인에서 일반화 능력을 향상시키는가?
• RQ2 이진 교차엔트로피 대신 NIST SRE 탐지비용을 최적화하면, 미지의 데이터에서 과적합이 감소하고 성능이 향상되는가?
• RQ3 생성형 PLDA 모델에서 파라미터를 초기화하면 판별적 신경형 PLDA의 성능에 어떤 영향을 미치는가?
• RQ4 아키텍처 설계와 정규화가 판별적 발화자 확인 백엔드의 모델 일반화에 어떤 영향을 미치는가?
• RQ5 LDA, 정규화, 점수 산정을 내장한 미분 가능한 신경 모델이 SRE 2018 벤치마크에서 전통적인 PLDA와 DPLDA를 능가할 수 있는가?

주요 결과

• 제안된 신경형 PLDA 모델은 SRE 2018 개발 세트에서 CMN2 조건에서 PLDA 기준 대비 C_min에서 10%의 상대적 향상을 달성한다.
• VAST 조건에서는 개발 세트에서 C_min에서 38%의 상대적 향상을 달성하여 강력한 일반화 능력을 입증한다.
• SRE 2018 평가 세트에서는 CMN2 조건에서 7%의 상대적 향상과 VAST 조건에서 23%의 상대적 향상을 기록하여 PLDA 기준 대비 성능 향상을 입증한다.
• 소프트 탐지비용 손실 함수를 사용할 경우, 특히 도메인 외부 조건에서 이진 교차엔트로피보다 훨씬 우수한 일반화 성능을 보인다.
• Kaldi PLDA 파라미터로 신경형 PLDA를 초기화하면 성능 향상이 더욱 뚜렷하여, 사전에 확보된 생성형 지식이 판별적 학습을 향상시킨다는 것을 시사한다.
• 더 적은 파라미터를 가진 모델이 DPLDA보다 더 우수한 일반화 능력을 보이며, 감소된 자유도가 과적합을 완화하는 데 기여한다는 점을 시사한다.