[논문 리뷰] Deep Speaker Vectors for Semi Text-independent Speaker Verification

Lantian Li, Dong Wang외 2명|arXiv (Cornell University)|2015. 05. 24.

Speech Recognition and Synthesis참고 문헌 5인용 수 8

한 줄 요약

이 논문은 제한된 구절 집합으로 제한된 반복형이 아닌 말하기 내용을 가진 반복형이 아닌 말하기 식별을 위한 딥 네트워크를 통해 학습된 딥 스피커 벡터(d-벡터)를 제안한다. DNN 학습에 음소 후보 확률을 통합함으로써(음소 의존적 학습) i-벡터 기반 시스템보다 성능 향상을 이룩하였으며, 비선형 차원 축소와 점수 융합을 조합함으로써 최저 EER 7.14%를 달성하였다.

ABSTRACT

Recent research shows that deep neural networks (DNNs) can be used to extract deep speaker vectors (d-vectors) that preserve speaker characteristics and can be used in speaker verification. This new method has been tested on text-dependent speaker verification tasks, and improvement was reported when combined with the conventional i-vector method. This paper extends the d-vector approach to semi text-independent speaker verification tasks, i.e., the text of the speech is in a limited set of short phrases. We explore various settings of the DNN structure used for d-vector extraction, and present a phone-dependent training which employs the posterior features obtained from an ASR system. The experimental results show that it is possible to apply d-vectors on semi text-independent speaker recognition, and the phone-dependent training improves system performance.

연구 동기 및 목표

• 딥 네트워크 기반 스피커 벡터 학습(d-벡터)을 반복형 말하기에서 반복형이 아닌 말하기 식별 작업으로 확장한다.
• ASR에서 유도된 음소 후보 확률을 사용한 음소 의존적 학습이 반복형이 아닌 상황에서 d-벡터 성능 향상에 기여하는지 조사한다.
• i-벡터 기반 시스템과 비교하여 d-벡터 기반 시스템에 대해 분류 기반 정규화 기법(LDA, PLDA)의 효과를 평가한다.
• d-벡터 및 i-벡터 시스템을 융합하여 스피커 식별 성능 향상 잠재력을 탐색한다.
• d-벡터가 본질적으로 분류 기반임에도 불구하고 선형 또는 비선형 차원 축소 기법으로부터 여전히 이점을 얻을 수 있는지 평가한다.

제안 방법

• 원시 음성 특징에서 스피커 정체성을 예측하도록 DNN을 학습하고, 마지막 은닉층 활성화 값을 d-벡터로 사용한다.
• 사전에 학습된 ASR 시스템에서 유도된 음소 후보 확률을 DNN 입력에 연결하여 음소 의존적 학습을 도입한다.
• d-벡터의 부복잡성을 줄이기 위해 주 DNN 뒤에 작은 은닉층(100개 유닛)을 삽입하여 비선형 차원 축소(NLDR)를 적용한다.
• 스피커 식별에서 코사인 거리, LDA, PLDA를 사용하여 점수를 계산하고, i-벡터 및 d-벡터 기반 시스템 간 성능을 비교한다.
• 가중치 보간을 통해 d-벡터 및 i-벡터 점수를 융합하여 전체 시스템 성능 향상에 기여한다.
• 다양한 구절을 포함한 대규모 데이터셋에서 DNN을 학습하고, 여러 구절 유형을 포함한 반복형이 아닌 설정에서 평가한다.

실험 결과

연구 질문

• RQ1 음소 의존적 데이터에서 학습된 d-벡터가 반복형이 아닌 말하기 식별 작업으로 일반화되는가?
• RQ2 ASR 시스템에서 유도된 음소 후보 확률을 DNN 입력에 통합함으로써(음소 의존적 학습) d-벡터 성능 향상이 이루어지는가?
• RQ3 분류 기반 정규화 기법(LDA, PLDA)이 d-벡터 기반 시스템에 미치는 영향은 i-벡터 기반 시스템과 비교해 어떻게 다를까?
• RQ4 비선형 차원 축소(NLDR)가 d-벡터의 부복잡성을 제거하여 성능 향상에 기여하는가?
• RQ5 최고의 d-벡터 및 i-벡터 시스템 간 점수 융합이 개별 시스템보다 더 높은 성능을 내는가?

주요 결과

• 간단한 코사인 거리 사용 시 d-벡터 시스템이 i-벡터 기반 시스템을 능가하며, EER은 13.58%로 i-벡터의 19.32%보다 우수하다.
• PLDA 적용 시 i-벡터 시스템이 d-벡터 시스템을 앞서며(EER: 8.70% 대 15.45%), 분류 기반 정규화가 i-벡터에 더 큰 이점을 제공함을 시사한다.
• d-벡터에 음소 의존적 학습을 적용하면 EER이 13.58%에서 13.21%로 감소하여 일관되지만 미미한 향상이 이루어진다.
• 비선형 차원 축소(NLDR)를 적용하면 음소 의존적 학습과 함께 d-벡터 성능이 더욱 향상되어 EER이 12.79%로 감소한다.
• 최고의 d-벡터 시스템(NLDR + 음소 의존적 학습)과 i-벡터 시스템(PLDA)을 융합한 결과, 모든 구성에서 최저 EER 7.14%를 달성한다.
• 결과는 d-벡터가 이미 매우 분류 기반임을 시사하지만, 프레임 간 불확실성과 부복잡성은 여전히 NLDR 및 점수 융합을 통해 감소시킬 수 있음을 보여준다.