[논문 리뷰] Deep Neural Network Embedding Learning with High-Order Statistics for Text-Independent Speaker Verification.

Lanhua You, Wu Guo외 2명|arXiv (Cornell University)|2019. 03. 28.

Speech Recognition and Synthesis참고 문헌 12인용 수 4

한 줄 요약

이 논문은 원시 발화에서 고차 통계량을 재구성함으로써 동시에 말자리 분류와 최적화하는 x-vector 발화자 임베딩을 위한 다중 작업 학습 프레임워크를 제안한다. 감독 학습 및 비감독 학습 신호를 통합함으로써, 최소한의 계산 부담으로도 임베딩의 분류 능력과 강건성을 향상시켜, 표준 x-vector 시스템에 비해 NIST SRE16 및 VOiCES 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

The x-vector based deep neural network (DNN) embedding systems have demonstrated effectiveness for text-independent speaker verification. This paper presents a multi-task learning architecture for training the speaker embedding DNN, with the primary task of classifying the target speakers and the auxiliary task of reconstructing the higher-order statistics of the original input utterance. The proposed training strategy aggregates both the supervised and unsupervised learning into one framework to make the speaker embeddings more discriminative and robust. Experiments are carried out in the NIST SRE16 evaluation dataset and the VOiCES dataset. The results demonstrate that our proposed method outperform the original x-vector approach with very low additional complexity added.

연구 동기 및 목표

• 감독 학습 및 비감독 학습 신호를 모두 활용하여 텍스트 독립 발화자 확인 성능을 향상시키기 위해.
• 표준 x-vector 시스템이 임베딩 학습을 위해 말자리 분류에만 의존하는 한계를 해결하기 위해.
• 입력 발화의 고차 통계량 재구성이라는 보조 작업을 통해 임베딩의 강건성과 분류 능력을 향상시키기 위해.
• 감독 학습 및 비감독 학습 목표를 함께 통합하면서 모델 복잡도를 크게 증가시키지 않는 학습 프레임워크를 개발하기 위해.

제안 방법

• 주 작업은 말자리 분류이고 보조 작업은 입력 발화의 고차 통계량 재구성인 다중 작업 학습 아키텍처를 도입한다.
• 원시 음성 특징의 고차 통계량(예: 세 번째 및 네 번째 순서의 모멘트)을 학습 중 감독 신호로 사용한다.
• 공유된 인코더 백본을 사용하여 DNN이 말자리 정체성 분류와 이러한 통계적 특징의 재구성 양측을 동시에 최적화하도록 훈련한다.
• 고차 통계량에 대한 재구성 손실을 적용하여 네트워크가 분류 능력 있고 강건한 표현을 유지하도록 유도한다.
• 두 작업 모두에 공유되는 복잡도 낮은 버티브 레이어(x-vector)를 사용하여 발화자 임베딩 추출을 수행한다.
• 말자리 분류를 위한 교차 엔트로피 손실과 통계 재구성에 대한 평균 제곱 오차 손실을 조합하여 학습 목표를 설정한다.

실험 결과

연구 질문

• RQ1 발화의 고차 통계량을 재구성하는 것이 텍스트 독립 확인에서 발화자 임베딩의 분류 능력을 향상시키는가?
• RQ2 말자리 분류와 통계 재구성의 공동 학습이 채널 및 환경 변화에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 비감독 보조 작업을 추가함으로써 x-vector 시스템의 성능에 미치는 영향은 무엇이며, 계산 비용을 최소한으로 유지할 수 있는가?
• RQ4 제안된 다중 작업 프레임워크는 NIST SRE16 및 VOiCES와 같은 다양한 평가 세트에 일반화되는가?

주요 결과

• 제안된 방법은 NIST SRE16 평가 데이터셋에서 표준 x-vector 시스템보다 더 뛰어난 성능을 달성한다.
• VOiCES 데이터셋에서도 베이스라인 성능을 초월하여 다양한 녹음 조건에서도 강건성을 입증한다.
• 매우 낮은 추가 계산 복잡도로 성능 향상을 달성하여 실세계 적용에 실용적이다.
• 고차 통계량을 보조 작업으로 통합함으로써 학습된 발화자 임베딩의 분류 능력이 향상된다.
• 결과는 고차 통계량에서 유도된 비감독 신호가 추가적인 레이블 없이도 임베딩 품질에 의미 있는 기여를 한다는 것을 확인한다.