[논문 리뷰] Improved Deep Speaker Feature Learning for Text-Dependent Speaker Recognition

Lantian Li, Yiye Lin외 2명|arXiv (Cornell University)|2015. 06. 28.

Speech Recognition and Synthesis참고 문헌 5인용 수 6

한 줄 요약

이 논문은 말의 종류에 따라 다른 신경망을 도입하여 음소 변동을 줄이고, 더 나은 시간 모델링을 위해 동적 시간 왜곡(DTW)과 세그먼트 풀링을 제안함으로써, 문장 의존적 화자 인식을 위한 딥 스피커 특징 학습을 향상시킨다. 제안된 방법은 기준 d-vector의 EER 10.29%를 최고 문장에서 8.14%로 크게 감소시켜, PLDA와 조합했을 때 일부 경우에서 i-vector 기준선을 능가한다.

ABSTRACT

A deep learning approach has been proposed recently to derive speaker identifies (d-vector) by a deep neural network (DNN). This approach has been applied to text-dependent speaker recognition tasks and shows reasonable performance gains when combined with the conventional i-vector approach. Although promising, the existing d-vector implementation still can not compete with the i-vector baseline. This paper presents two improvements for the deep learning approach: a phonedependent DNN structure to normalize phone variation, and a new scoring approach based on dynamic time warping (DTW). Experiments on a text-dependent speaker recognition task demonstrated that the proposed methods can provide considerable performance improvement over the existing d-vector implementation.

연구 동기 및 목표

• 기존 d-vector 시스템이 문장 의존적 화자 인식에서 i-vector 기준선에 비해 성능이 열등한 점을 해결한다.
• 화자 임bedding 학습에 영향을 주는 음소 변동의 영향을 줄이기 위해 DNN 입력에 음소 포스터리어를 통합한다.
• 표준 d-vector 평균화에서 忽시되는 말의 시간적 제약 조건을 활용하여 점수 평가를 향상시킨다.
• 고정 문장의 음성에서 시간적 동적 특성을 더 잘 모델링하는 분류 기반 점수 평가 방법을 탐색한다.
• 향상된 d-vector 시스템을 i-vector 시스템과 조합함으로써 최신 기술 수준의 성능을 입증한다.

제안 방법

• 음소 포스터리어를 DNN 입력 특징으로 도입하여 음소 의존적 학습을 가능하게 하고, 화자 임bedding에 대한 음성적 변동의 영향을 줄인다.
• 평균 풀링을 세그먼트 풀링으로 대체하여, 음성 문장을 고정 길이 세그먼트로 나누고 각 세그먼트에 대해 d-vector를 유도한다.
• 동적 시간 왜곡(DTW)을 적용하여 세그먼트별 d-vector를 정렬하고 점수를 매기며, 프레임 간 시간적 관계를 유지한다.
• 40차원 필터 백터 특징과 음소 포스터리어를 입력으로 사용하는 다층 DNN을 사용하며, 마지막 은닉층에서의 프레임 수준 특징을 활용한다.
• 기준선 시스템에서 분류 기반 점수 평가를 위해 PLDA와 LDA를 적용하지만, d-vector는 본질적으로 분류 가능성이 있기 때문에 이를 생략한다.
• 최고의 d-vector 시스템(DNN+PT+DTW)과 i-vector 시스템을 점수 수준의 보간을 통해 조합하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 DNN 입력에 음소 포스터리어를 통합함으로써 음소 관련 변동성을 줄여 화자 임bedding 품질을 향상시킬 수 있는가?
• RQ2 간단한 평균 풀링 대비 세그먼트 풀링 또는 DTW 기반 점수 평가가 문장 의존적 화자 인식에서 성능 향상에 기여하는가?
• RQ3 향상된 d-vector 시스템이 문장 의존 작업에서 i-vector 기준선을 능가하거나 대체할 수 있는가?
• RQ4 점수 수준 융합을 통해 향상된 d-vector 시스템과 i-vector 시스템을 조합했을 때 성능 향상은 어느 정도인가?
• RQ5 제안된 방법이 고정된 내용을 가진 다양한 테스트 문장에서 EER에 어떤 영향을 미치는가?

주요 결과

• 음소 포스터리어 통합(DNN+PT)은 d-vector EER를 문장 P1에서 10.29%에서 10.24%로 약간 향상시켰다.
• 세그먼트 풀링(DNN+PT+SEG)은 P1에서 EER를 9.95%로 낮춰 모든 문장에서 일관된 향상을 보였다.
• DTW 기반 점수 평가(DNN+PT+DTW)는 최고의 단일 시스템 성능을 달성하여 P1에서 EER를 9.14%로, P5에서 8.14%로 낮췄다.
• 최고의 d-vector 시스템(DNN+PT+DTW)과 i-vector 시스템(PLDA)을 점수 보간을 통해 조합하면 P1에서 최저 EER 1.52%를 기록했다.
• 통합 시스템은 개별 시스템을 모두 능가했으며, i-vector 기준선 대비 P2에서 최대 1.2个百分点, P4에서 0.8个百分点의 EER 감소를 기록했다.