[논문 리뷰] Deep Normalization for Speaker Vectors

Yunqi Cai, Lantian Li외 2명|arXiv (Cornell University)|2020. 04. 07.

Speech Recognition and Synthesis참고 문헌 66인용 수 9

한 줄 요약

이 논문은 PLDA 기반 스코링에서 성능을 떨어뜨리는 딥 스피커 벡터 내 비정규성 및 이종성 분포 문제를 해결하기 위해 새로운 비선형 판별 정규화 플로우(DNF) 모델을 제안한다. DNF 모델은 스피커 임bedding을 비선형적으로 변환하여 분포 정규성을 향상시키며, SITW 및 CNCeleb 데이터셋에서 기존의 LDA 및 기준 정규화 방법보다 뚜렷한 성능 향상을 이룩하여 최신 기술 수준에 도달한다.

ABSTRACT

Deep speaker embedding has demonstrated state-of-the-art performance in speaker recognition tasks. However, one potential issue with this approach is that the speaker vectors derived from deep embedding models tend to be non-Gaussian for each individual speaker, and non-homogeneous for distributions of different speakers. These irregular distributions can seriously impact speaker recognition performance, especially with the popular PLDA scoring method, which assumes homogeneous Gaussian distribution. In this paper, we argue that deep speaker vectors require deep normalization, and propose a deep normalization approach based on a novel discriminative normalization flow (DNF) model. We demonstrate the effectiveness of the proposed approach with experiments using the widely used SITW and CNCeleb corpora. In these experiments, the DNF-based normalization delivered substantial performance gains and also showed strong generalization capability in out-of-domain tests.

연구 동기 및 목표

• 딥 스피커 벡터 내 비정규성 및 이종성 분포 문제를 해결함으로써 PLDA 기반 스코링 성능에 악영향을 미치는 요소를 제거하는 것.
• 스피커 간 분포 정규성을 향상시키는 비선형 정규화 방법을 개발하는 것.
• 특히 도메인 외부 환경에서의 일반화 능력을 향상시키는 것.
• 딥 정규화가 딥 스피커 임베딩 시스템의 성능을 극대화하는 데 필수적임을 입증하는 것.

제안 방법

• 선형 판별 분석(LDA)의 비선형 확장으로서 새로운 판별 정규화 플로우(DNF) 모델을 제안한다.
• 역행 가능 변환을 통해 복잡한 비정규성 및 이종성 분포를 모델링하기 위해 정규화 플로우 프레임워크를 사용한다.
• 잠재 공간에서 최대우도(ML) 목적함수를 사용해 DNF 모델을 훈련함으로써 정규화 과정의 엔드 투 엔드 최적화를 가능하게 한다.
• 스코링 이전에 DNF 변환을 스피커 임베딩에 적용하여 분포 정규성을 향상시킨다.
• 커플링 레이어를 사용한 플로우 기반 아키텍처를 활용해 원본 스피커 벡터에서 정규화된 잠재 공간으로의 변환을 모델링한다.
• 기존의 x-vector 및 ResNet 기반 시스템과 호환 가능한 스피커 임베딩 추출 후 처리 단계로 DNF 모델을 통합한다.

실험 결과

연구 질문

• RQ1 LDA와 같은 선형 방법보다 DNF와 같은 비선형 정규화 방법이 딥 스피커 벡터 분포의 정규화에 더 뛰어나게 성능을 높일 수 있는가?
• RQ2 SITW 및 CNCeleb와 같은 표준 벤치마크에서 딥 정규화가 스피커 인식 성능을 뚜렷이 향상시키는가?
• RQ3 LDA가 실패하는 도메인 외부 평가 환경에서 DNF 모델은 어떤 성능을 보이는가?
• RQ4 DFN 모델이 스피커 벡터 분포의 정규성과 동질성에 얼마나 기여하는가?
• RQ5 복잡하고 상호의존적인 스피커 분포 조건에서도 DNF 모델은 효과적으로 훈련될 수 있는가?

주요 결과

• SITW 테스트 세트에서 DNF 기반 정규화는 2.93%의 EER을 기록하여 LDA 기반 기준(2.82%) 및 DNF-LDA 조합(2.83%)을 모두 초월했다.
• CNCeleb 데이터셋에서 DNF 모델은 12.59%의 EER을 달성하여 기준 x-vector(14.02%) 및 LDA(13.42%)보다 뚜렷한 향상을 이룩했다.
• DFN 모델은 도메인 외부 평가에서 LDA 성능이 급격히 저하되는 상황에서도 뛰어난 일반화 능력을 보였다.
• 훈련 분석 결과 DNF는 첨도, 왜도 및 방향 분산을 효과적으로 감소시켜 스피커 분포의 정규성과 동질성 향상을 입증했다.
• 교차 엔트로피 손실 및 분류 성능 지표에서 DNF 모델은 지속적인 향상을 보였으며, 이는 정규화된 공간에서 클래스 간 분리도 향상되었음을 확인했다.
• SITW 개발 세트에서 DNF 모델은 1.86%의 EER을 기록하여 다양한 평가 프로토콜에서 일관된 성능 향상을 입증했다.