[논문 리뷰] DNN based Speaker Recognition on Short Utterances

Ahilan Kanagasundaram, David Dean외 2명|arXiv (Cornell University)|2016. 10. 11.

Speech Recognition and Synthesis참고 문헌 14인용 수 11

한 줄 요약

이 논문은 짧은 발화에서의 화자 확인을 위한 DNN-senone 기반 가우시안 확률적 선형 판별 분석(GPLDA) 시스템을 제안한다. 기존의 GMM-UBM 대신 DNN를 사용하여 음소 인식화된 화자 모델링을 향상시킨다. 짧은 발화 조건에서 GMM-UBM GPLDA 대비 EER가 50% 이상 상대적으로 향상되었으며, 특히 GPLDA를 30초 짧은 개발 데이터로 학습했을 때 화자, 세션, 음소 변동성에 대한 내성력이 향상된다.

ABSTRACT

This paper investigates the effects of limited speech data in the context of speaker verification using deep neural network (DNN) approach. Being able to reduce the length of required speech data is important to the development of speaker verification system in real world applications. The experimental studies have found that DNN-senone-based Gaussian probabilistic linear discriminant analysis (GPLDA) system respectively achieves above 50% and 18% improvements in EER values over GMM-UBM GPLDA system on NIST 2010 coreext-coreext and truncated 15sec-15sec evaluation conditions. Further when GPLDA model is trained on short-length utterances (30sec) rather than full-length utterances (2min), DNN-senone GPLDA system achieves above 7% improvement in EER values on truncated 15sec-15sec condition. This is because short length development i-vectors have speaker, session and phonetic variation and GPLDA is able to robustly model those variations. For several real world applications, longer utterances (2min) can be used for enrollment and shorter utterances (15sec) are required for verification, and in those conditions, DNN-senone GPLDA system achieves above 26% improvement in EER values over GMM-UBM GPLDA systems.

연구 동기 및 목표

• 제한된 음성 데이터 조건, 특히 짧은 발화에서 DNN-senone 기반 GPLDA의 성능을 조사하는 것.
• 전체 길이(2분)의 학습 데이터보다 짧은 발화(30초)로 GPLDA 배경 모델을 학습할 경우, 화자, 세션, 음소 변동성에 대한 내성력 향상 여부를 평가하는 것.
• 등록 시 장시간 발화(2분)를 사용하고 검증 시 짧은 발화(15초)를 사용하는 실제 환경에서 DNN-senone GPLDA 시스템이 기존의 GMM-UBM GPLDA보다 어떻게 성능을 내는지 비교하는 것.
• 저자원, 짧은 발화 설정에서 DNN 기반 음향 모델링이 성능 향상에 얼마나 기여하는지 파악하는 것.
• DNN에서 유도된 음소 인식 정렬이 짧은 지속 시간의 검증 작업에서 i-vector 추출 및 후속 PLDA 스코링에 미치는 영향을 평가하는 것.

제안 방법

• GMM-UBM를 DNN로 대체하여 음소 후행 확률을 계산하고, 이를 바탕으로 i-vector 추출을 위한 Baum-Welch 충분통계를 산출한다.
• DNN-senone 후행 확률 기반 통계를 활용해 총 변동성 모델링을 통해 600차원 i-vector를 추출한다.
• PLDA 모델 스코링 이전에 i-vector에 길이 정규화 및 평균 제거를 적용한다.
• GPLDA 배경 모델을 전체 길이(2분) 또는 짧은 길이(30초)의 개발 발화로 학습하여 학습 데이터 길이의 영향을 평가한다.
• 내영역 NIST 데이터에서 내부 클래스(WC) 및 교차 클래스(AC) 공분산 행렬을 추정하여 배치 우도 비율 스코링을 적용한다.
• i-vector 추출, PLDA 스코링, NIST 2010 데이터셋 평가의 구현을 위해 Kaldi 툴킷을 사용한다.

실험 결과

연구 질문

• RQ1 등록 및 검증 발화 모두가 짧은(15초) 조건에서 DNN-senone 기반 GPLDA 시스템이 GMM-UBM GPLDA를 능가하는가?
• RQ2 GPLDA 배경 모델을 짧은 발화(30초)로 학습할 경우, 전체 길이(2분)의 데이터로 학습한 경우보다 짧은 발화 검증 작업에서 성능 향상이 이루어지는가?
• RQ3 등록에 장시간 발화(2분)를 사용하고 검증에 짧은 발화(15초)를 사용하는 실제 환경에서 DNN-senone 접근법은 어떻게 성능을 내는가?
• RQ4 DNN-senone 시스템은 음소 인식 능력이 있음에도 불구하고 매우 짧은 발화(10초)에서는 더 긴 발화에 비해 성능 향상이 줄어드는 이유는 무엇인가?
• RQ5 짧은 개발 데이터에 포함된 음소, 세션, 화자 변동성을 GPLDA의 모델링 능력 향상에 얼마나 기여하는가?

주요 결과

• NIST 2010 coreext-coreext 조건에서 짧은 발화 조건에서 DNN-senone 기반 GPLDA 시스템은 GMM-UBM GPLDA 대비 EER에서 50% 이상의 상대적 향상을 달성한다.
• 단절된 15초-15초 평가 조건에서 DNN-senone GPLDA 시스템은 GMM-UBM GPLDA 대비 EER를 18% 상대적으로 향상시켰으며, 중간 수준이지만 일관된 성과를 보였다.
• GPLDA 모델을 30초 개발 발화로 학습한 경우, 15초-15초 조건에서 DNN-senone GPLDA 시스템은 EER에서 7% 이상의 절대적 향상을 달성했다.
• 2분 등록 및 15초 검증의 실제 시나리오에서 DNN-senone GPLDA 시스템은 GMM-UBM GPLDA 대비 EER에서 26% 이상의 상대적 향상을 달성했다.
• 짧은 학습 데이터에서의 성능 향상은 짧은 i-vector에서 화자, 세션, 음소 변동성을 더 잘 모델링했기 때문으로 기인된다.
• 등록 발화가 긴 경우, 짧은 데이터로 학습해도 성능 향상이 없으며, 이는 장시간 발화가 음소 변동성을 포함하지 않기 때문이다.