[논문 리뷰] Deep Discriminant Analysis for i-vector Based Robust Speaker Recognition

Shuai Wang, Zili Huang외 2명|arXiv (Cornell University)|2018. 05. 03.

Speech Recognition and Synthesis참고 문헌 25인용 수 3

한 줄 요약

이 논문은 i-vector 화자 인식에서 비선형 신경망 기반 보정 방법인 딥 디스criminант 분석(DDA)을 제안한다. DDA는 소프트맥스 손실과 센터 손실을 동시에 최적화하여 분류 능력을 향상시킨다. 선형 LDA와 달리 DDA는 비선형 투영을 학습하여 내화자 변동성을 감소시키고 외화자 간 분리를 증가시킨다. 유클리드 스코링을 사용할 경우 EER가 4.69%로 나타나 SRE 코퍼스 데이터셋에서 LDA와 PLDA를 모두 능가한다.

ABSTRACT

Linear Discriminant Analysis (LDA) has been used as a standard post-processing procedure in many state-of-the-art speaker recognition tasks. Through maximizing the inter-speaker difference and minimizing the intra-speaker variation, LDA projects i-vectors to a lower-dimensional and more discriminative sub-space. In this paper, we propose a neural network based compensation scheme(termed as deep discriminant analysis, DDA) for i-vector based speaker recognition, which shares the spirit with LDA. Optimized against softmax loss and center loss at the same time, the proposed method learns a more compact and discriminative embedding space. Compared with the Gaussian distribution assumption of data and the learnt linear projection in LDA, the proposed method doesn't pose any assumptions on data and can learn a non-linear projection function. Experiments are carried out on a short-duration text-independent dataset based on the SRE Corpus, noticeable performance improvement can be observed against the normal LDA or PLDA methods.

연구 동기 및 목표

• i-vector 화자 인식에서 선형 LDA의 한계를 해결하기 위해, 특히 정규 분포를 가정하고 비선형 분리성을 모델링할 수 없는 점을 다루기 위해.
• 실제 환경에서 복잡한 화자 변동성과 채널 왜곡을 더 잘 포착할 수 있는 비선형 LDA 대체 기법을 개발하기 위해.
• 짧은 지속시간, 텍스트 독립적 발화에서 화자 인식 성능을 향상시키기 위해 더 컴act하고 분류 능력이 뛰어난 임bedding 공간을 학습하기 위해.
• 심플한 스코링 방법(예: 코사인 거리 또는 유클리드 거리)을 사용할 때도 신경망 기반 접근이 전통적인 PLDA 및 LDA 시스템을 능가할 수 있음을 입증하기 위해.

제안 방법

• 600차원 고차원 i-vector를 300차원 또는 400차원의 더 낮은 차원의 분류 능력 있는 공간으로 매핑하는 딥 신경망을 제안한다. 다층 아키텍처를 사용하며, PReLU 활성화 함수와 배치 정규화를 적용한다.
• 소프트맥스 손실(클래스 간 분離를 최대화)과 센터 손실(클래스 중심으로 임베딩을 끌어당겨 내부 클래스 변동성을 최소화)을 조합한 공동 손실 함수를 사용해 네트워크를 훈련시킨다.
• 각각 다른 학습률을 사용하여 네트워크를 최적화한다. 메인 네트워크에는 0.01, 센터 파라미터에는 0.1을 사용하며, 센터는 미니배치 단위로 갱신하여 훈련 안정성을 향상시킨다.
• λ = 0.01로 설정된 가중 조합을 통해 손실를 균형 잡는다. 이는 네트워크가 의미 있는 분류 능력을 가진 특징을 학습하고, 구분 불가능한 임베딩 공간으로 붕괴되는 것을 방지한다.
• t-SNE 시각화를 통해 DDA 변환 후 내화자 임베딩의 밀도와 화자 간 분리를 정성적으로 평가한다.
• SRE 코퍼스에서 코사인 거리 및 유클리드 스코링을 사용해 성능을 평가하며, 기준 i-vector, LDA, PLDA 시스템과 비교한다.

실험 결과

연구 질문

• RQ1 비선형이고 더 분류 능력이 뛰어난 투영을 학습함으로써, 정규 분포를 가정하지 않고 선형 LDA를 i-vector 공간에서 효과적으로 대체할 수 있는가?
• RQ2 소프트맥스와 센터 손실을 공동 최적화함으로써, 기존의 LDA나 PLDA에 비해 화자 인식 성능이 어떻게 향상되는가?
• RQ3 짧은 지속시간, 텍스트 독립적 화자 인식 작업에서 최소 EER를 달성하기 위해 DDA 임베딩 공간의 최적 차원은 얼마인가?
• RQ4 DDA 모델은 소프트맥스와 센터 손실를 균형 잡는 하이퍼파라미터 λ에 얼마나 민감한가? 수렴과 성능 최적화를 위한 최적 설정은 무엇인가?

주요 결과

• DDA는 유클리드 스코링을 사용할 경우 EER 4.69%를 달성하여 기준 PLDA 시스템(EER 4.96%)과 LDA(EER 5.22%)를 모두 능가한다.
• DDA의 최고 성능는 400차원 임베딩 공간에서 나타나며, 이 경우 유클리드 스코링으로 EER가 4.51%로 떨어진다. 반면 LDA는 200차원에서 최고 성능를 보인다.
• λ가 0.01로 설정되었을 때 훈련이 안정적으로 수렴하고 최적의 성능를 얻는다. 반면 λ가 0.1이면 센터 손실의 영향력이 지나치게 커져 네트워크가 훈련되지 않는다.
• t-SNE 시각화 결과 DDA가 내화자 변동성을 크게 감소시켜, 동일 화자에서 온 임베딩이 더 밀도 있게 집중되고 다른 화자와 잘 분리됨을 확인할 수 있다.
• 모든 임베딩 차원에서 DDA는 LDA를 능가하며, 유클리드 스코링에서 가장 큰 상대적 향상을 보였다(예: 300차원에서 DDA는 EER 4.69%로 LDA의 5.22%보다 우수하다).
• 제안된 방법은 PLDA와 호환되지 않아, DDA의 비선형 보정이 이미 임베딩 공간에서 PLDA의 역할을 대체하고 있음을 시사한다.