[논문 리뷰] Speaker Embedding Extraction with Phonetic Information

Yi Liu, Liang He외 2명|arXiv (Cornell University)|2018. 04. 13.

Speech Recognition and Synthesis참고 문헌 21인용 수 8

한 줄 요약

이 논문은 x-vector 발화자 임베딩 추출 과정에 음소 정보를 통합하기 위해 프레임 수준와 세그먼트 수준에서 다중 작업 학습과 함께 공동 최적화를 제안한다. Fisher 데이터셋에서 EER은 20% 향상되고 minDCF08과 minDCF10은 각각 15% 향상되었으며, NIST SRE10에서도 도메인 외부 ASR 데이터를 사용함에도 불구하고 일관된 성능 향상이 관찰되었다.

ABSTRACT

Speaker embeddings achieve promising results on many speaker verification tasks. Phonetic information, as an important component of speech, is rarely considered in the extraction of speaker embeddings. In this paper, we introduce phonetic information to the speaker embedding extraction based on the x-vector architecture. Two methods using phonetic vectors and multi-task learning are proposed. On the Fisher dataset, our best system outperforms the original x-vector approach by 20% in EER, and by 15%, 15% in minDCF08 and minDCF10, respectively. Experiments conducted on NIST SRE10 further demonstrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 기존 발화자 임베딩 방법이 일반적으로 발화자 레이블 외에 음소 정보를 활용하지 못하는 점을 해결하기 위해.
• 학습 중 보조 정보로 음소 내용을 통합하여 발화자 임베딩의 강건성과 분류 능력을 향상시키기 위해.
• 이전의 이중 단계 음소 벡터 추출 및 프레임 수준 다중 작업 학습의 한계를 극복하기 위해 공동 최적화와 세그먼트 수준의 감독을 가능하게 하기 위해.
• 프레임 수준와 세그먼트 수준에서 동시에 작동하는 다중 작업 학습 프레임워크에서 공유된 은닉층을 통해 일반화 능력을 향상시키고 과적합을 줄이기 위해.

제안 방법

• 공유된 DNN 아키텍처를 사용하여 발화자 임베딩과 음소 벡터 추출을 동시에 최적화하는 공동 학습 프레임워크를 제안한다.
• 프레임 수준와 세그먼트 수준에서 모두 분류를 수행하는 다중 작업 학습 설정을 도입한다: 프레임 수준에선 발화자 및 음소 레이블을 예측하고, 세그먼트 수준에선 발화자 신원을 예측한다.
• 발화자 및 음소 네트워크에 동일한 입력 특징을 사용하며, 특정 깊이까지 공유된 은닉층을 거친 후 작업별 출력 헤드를 적용한다.
• 프레임 수준 활성화에 통계 풀링(평균 및 표준편차)을 적용하여 발화자 인식을 위한 고정 길이의 세그먼트 수준 임베딩을 생성한다.
• 도메인 외부 음성 인식(ASR) 데이터를 사용할 경우(예: NIST SRE10에서 Switchboard-I 사용), 목표 도메인에 맞게 음소 표현을 보정하기 위해 ASR 모듈을 미세조정한다.
• LDA 및 PLDA 점수 후 표준 발화자 인식 평가 지표인 EER, minDCF08, minDCF10를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 표준 발화자 레이블만을 사용하는 학습 방식을 초월해, x-vector 학습에 음소 정보를 통합하면 발화자 임베딩 성능 향상이 가능한가?
• RQ2 발화자 및 음소 네트워크의 공동 최적화는 이중 단계 학습 대비 더 나은 음소 벡터와 더 분류 능력이 뛰어난 발화자 임베딩을 제공하는가?
• RQ3 프레임 수준 외에 세그먼트 수준까지 적용하는 다중 작업 학습은 프레임 수준 전용 다중 작업 학습 대비 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ4 목표 데이터셋(예: NIST SRE10)과 소스 데이터(예: Switchboard-I)가 다를 경우, 도메인 외부 ASR 데이터에서 유도한 음소 정보도 여전히 발화자 인식 성능 향상에 기여하는가?
• RQ5 음소 감독 하에 발화자 임베딩 추출을 위한 다중 작업 학습에서 최적의 공유 레이어 수는 얼마인가?

주요 결과

• Fisher 데이터셋에서 미세조정된 음소 벡터를 사용한 본 논문의 방법은 원래 x-vector 대비 EER을 20% 감소시켰다.
• 동일한 시스템은 minDCF08과 minDCF10 모두 15% 향상시켜 다양한 평가 지표에서 일관된 성능 향상을 입증했다.
• 3개의 공유 레이어를 가진 다중 작업 학습은 Fisher에서 최고의 성능을 기록했으며, EER은 20% 감소하고 minDCF08은 18% 감소시켰다.
• NIST SRE10 core-extended에서 음소 벡터 방법은 미세조정을 통해 EER을 13% 감소시키고 minDCF08을 8% 감소시켰다.
• 3개의 공유 레이어를 가진 다중 작업 학습 방법은 NIST SRE10 core-extended에서 EER을 29% 감소시키고 minDCF08을 18% 감소시켜, 비일치하는 ASR 데이터 조건에서도 강력한 강건성을 보였다.
• NIST SRE10의 10s-10s 조건에서 2개의 공유 레이어를 가진 다중 작업 학습 방법은 가장 낮은 EER을 기록했고, 미세조정된 음소 벡터 방법은 가장 우수한 minDCF08 성능을 기록했다.