[논문 리뷰] Deep Speaker Vector Normalization with Maximum Gaussianality Training

Yunqi Cai, Lantian Li외 2명|arXiv (Cornell University)|2020. 10. 30.

Speech Recognition and Synthesis참고 문헌 48인용 수 4

한 줄 요약

이 논문은 딥 노멀라이제이션 플로우(DNF) 기반의 스피커 벡터 정규화를 위한 최대 가우시안성(MG) 학습을 제안하며, 최대우도(ML) 학습에 의존하지 않고 잠재 코드의 가우시안성 그 자체를 직접 최적화한다. MG 접근법은 클래스 간 분포를 구형으로, 클래스 내 분산을 균일하게 유지함으로써 코사인 스코링에서 특히 뛰어난 성능 향상을 이룬다. 이는 도메인 내(SITW) 및 도메인 외(CNCeleb) 데이터셋 모두에서 ML 기반 DNF를 능가하며, 특히 저자료 환경에서도 뚜렷한 성능 향상을 보인다.

ABSTRACT

Deep speaker embedding represents the state-of-the-art technique for speaker recognition. A key problem with this approach is that the resulting deep speaker vectors tend to be irregularly distributed. In previous research, we proposed a deep normalization approach based on a new discriminative normalization flow (DNF) model, by which the distributions of individual speakers are arguably transformed to homogeneous Gaussians. This normalization was demonstrated to be effective, but despite this remarkable success, we empirically found that the latent codes produced by the DNF model are generally neither homogeneous nor Gaussian, although the model has assumed so. In this paper, we argue that this problem is largely attributed to the maximum-likelihood (ML) training criterion of the DNF model, which aims to maximize the likelihood of the observations but not necessarily improve the Gaussianality of the latent codes. We therefore propose a new Maximum Gaussianality (MG) training approach that directly maximizes the Gaussianality of the latent codes. Our experiments on two data sets, SITW and CNCeleb, demonstrate that our new MG training approach can deliver much better performance than the previous ML training, and exhibits improved domain generalizability, particularly with regard to cosine scoring.

연구 동기 및 목표

• 최대우도(ML) 학습이 모델 가정에도 불구하고 선형 가우시안 잠재 코드를 보장하지 못하는 DNF 모델의 한계를 해결하기 위해.
• 잠재 코드의 가우시안성을 직접 최대화함으로써 스피커 벡터 정규화를 향상시키고, 이상적 PLDA 스코링 가정과 일치시키기 위해.
• 더 체계적인 학습 기준을 통해 성능과 일반화 능력을 향상시키며, 특히 저자료 또는 도메인 외 조건에서의 성능 향상을 추구하기 위해.
• MG 학습이 코사인 스코링에서 ML 기반 DNF를 능가하는 성능을 내며, 데이터 불일치에 덜 민감한 특성 덕분에 특히 효과적임을 입증하기 위해.

제안 방법

• DNF 모델이 생성하는 잠재 코드의 가우시안성을 직접 최대화하는 새로운 학습 기준인 최대 가우시안성(MG)을 제안한다.
• 기본적인 최대우도(ML) 목적함수를 통계적 측도(예: 마르디아의 다변량 첨도)를 사용해 가우시안성 정량화에 기반한 최적화 목적함수로 대체한다.
• 잠재 코드의 클래스 간 및 클래스 내 분포에 모두 MG 기준을 적용하여, 구형 평균 분포와 균일한 클래스 내 분산을 강제한다.
• 역행성 플로우 기반 모델(DNF)을 사용해 스피커 임bedding을 분포 특성이 향상된 정규화된 잠재 코드로 변환한다.
• 두 단계 학습 전략을 적용: 먼저 클래스 내 분포를 정규화하고, 그 다음에 클래스 간 평균을 정규화하며, 모두 MG 기준 하에 수행한다.
• 명시적 엔트로피 계산이 필요 없이도 다양한 역행성 아키텍처에 효과적으로 적용 가능하게 하여 모델 설계 및 학습을 단순화한다.

실험 결과

연구 질문

• RQ1 DNF 기반 스피커 정규화에서 잠재 코드의 가우시안성을 최대화하는 것이 최대우도 학습보다 성능 향상에 기여하는가?
• RQ2 MG 학습은 코사인 스코링을 사용할 경우 도메인 외 데이터셋에서도 더 나은 일반화 성능을 보이는가?
• RQ3 저자료 환경(예: 스피커당 2개의 발화만)에서 MG 학습은 성능에 어떤 영향을 미치는가?
• RQ4 PLDA 스코링에 비해 MG 기반 정규화는 코사인 스코링의 효과를 어느 정도 향상시키는가?
• RQ5 MG 학습은 동시에 클래스 내 및 클래스 간 분포에 효과적으로 적용될 수 있는가?

주요 결과

• SITW 데이터셋에서 MG 학습은 스피커 인식 성능을 크게 향상시켰으며, 도메인 내 테스트에서 ML 기반 DNF 대비 등가오류률(EER)이 31% 상대적으로 감소했다.
• CNCeleb를 이용한 도메인 외 테스트에서는 MG 기반 DNF가 EER을 9.3% 상대적으로 감소시켜 강력한 도메인 일반화 능력을 입증했다.
• 스피커당 2개의 발화만으로도 MG 학습은 높은 성능를 유지하지만, ML 기반 DNF는 성능이 정체되는 것을 확인하여 저자료 시나리오에서 뛰어난 내성성을 보였다.
• MG로 정규화된 벡터를 사용한 코사인 스코링은 PLDA 스코링과 비교해 유사하거나 더 뛰어난 성능를 기록했으며, 특히 도메인 외 설정에서 데이터 불일치에 덜 민감한 특성 덕분이었다.
• MG 기준 하에 클래스 간 및 클래스 내 분포를 동시에 정규화함으로써 가장 높은 성능 향상을 달성했으며, 이는 전체 분포 정규화의 중요성을 확인한다.
• MG 기준은 명시적 엔트로피 계산 없이도 플로우 기반 모델의 효과적인 학습을 가능하게 하여 다양한 역행성 아키텍처에의 적용 가능성을 넓혔다.