[논문 리뷰] Short utterance compensation in speaker verification via cosine-based teacher-student learning of speaker embeddings

Jee-weon Jung, Hee-Soo Heo외 2명|arXiv (Cornell University)|2018. 10. 25.

Speech Recognition and Synthesis참고 문헌 23인용 수 4

한 줄 요약

이 논문은 원시 파형 기반 CNN-GRU 네트워크 내에서 130ms 세그먼트의 음소 수준 특징을 활용하여 음성 인식에서 짧은 발화로 인한 성능 저하를 보완하는 코사인 기반의 트레이너-학생 학습 프레임워크를 제안한다. 출력층의 쿨백-라이블러 발산과 화자 임베딩 간 코사인 거리의 공동 최적화를 통해 2.05초 발화에서 성능 손실의 65% 이상을 보완하며, 기존의 후행 특징 변환 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

The short duration of an input utterance is one of the most critical threats that degrade the performance of speaker verification systems. This study aimed to develop an integrated text-independent speaker verification system that inputs utterances with short duration of 2 seconds or less. We propose an approach using a teacher-student learning framework for this goal, applied to short utterance compensation for the first time in our knowledge. The core concept of the proposed system is to conduct the compensation throughout the network that extracts the speaker embedding, mainly in phonetic-level, rather than compensating via a separate system after extracting the speaker embedding. In the proposed architecture, phonetic-level features where each feature represents a segment of 130 ms are extracted using convolutional layers. A layer of gated recurrent units extracts an utterance-level feature using phonetic-level features. The proposed approach also adopts a new objective function for teacher-student learning that considers both Kullback-Leibler divergence of output layers and cosine distance of speaker embeddings layers. Experiments were conducted using deep neural networks that take raw waveforms as input, and output speaker embeddings on VoxCeleb1 dataset. The proposed model could compensate approximately 65 \% of the performance degradation due to the shortened duration.

연구 동기 및 목표

• 짧은 발화(≤2초)로 인한 화자 확인에서의 심각한 성능 저하 문제를 해결하기 위해.
• 추출 후 특징 보정에 의존하는 기존 방법의 한계를 극복하기 위해, 추출 후에 복구할 수 없는 부족한 음소 정보를 보완하기 위해.
• 화자 임베딩 추출 네트워크 내부에서 직접 짧은 발화를 보정하는 통합형 엔드 투 엔드 시스템을 개발하기 위해.
• 출력층 발산과 화자 임베딩 유사성의 공동 최적화를 통해 화자 임베딩의 분류 능력과 내성 강도를 향상시키기 위해.

제안 방법

• 입력 파형에서 직접 화자 임베딩을 추출하기 위해 레이크리 레이저와 GRU 레이어를 사용한 원시 파형 기반 CNN-GRU 아키텍처를 사용한다.
• 음소 수준 특징을 최종 합성곱 레이어의 출력으로 정의하여 음성의 130ms 세그먼트를 대표하게 하여 음소 정보를 캡처한다.
• 장발화를 처리하는 트레이너 네트워크와 짧은 발화를 처리하는 학생 네트워크를 갖춘 트레이너-학생 학습 프레임워크를 적용한다.
• 출력층 간 쿨백-라이블러 발산과 화자 임베딩 레이어 간 코사인 거리의 조합을 통한 새로운 목적 함수를 도입한다.
• 학생과 트레이너의 화자 임베딩 간 코사인 유사도를 핵심 정규화 신호로 사용하여 밀도 있고 분류 능력이 뛰어난 임베딩을 정렬한다.
• 학생 네트워크를 최적화하여 최종 레이어 출력의 KL 발산과 화자 임베딩 간 코사인 거리를 모두 최소화함으로써 내성 강도와 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 130ms 세그먼트로 추출한 짧은 발화의 음소 수준 특징이 화자 확인 성능 저하를 효과적으로 보완할 수 있는가?
• RQ2 출력층 발산과 화자 임베딩 유사성의 공동 최적화가 기존 트레이너-학생 학습 방식보다 짧은 발화의 내성 강도를 향상시키는가?
• RQ3 임베딩 추출 네트워크 내부에서 직접 보정하는 통합형 엔드 투 엔드 시스템이 후행 특징 변환 방법보다 우월한가?
• RQ4 다양한 짧은 발화 지속 시간(예: 1.55초에서 2.55초)에 대해 제안된 방법이 얼마나 강인한가?
• RQ5 출력층 손실만에 의존하는 것보다 코사인 거리 기반의 화자 임베딩 직접 비교가 분류 능력을 더 크게 향상시키는가?

주요 결과

• 제안된 방법은 2.05초 발화에서 등가 오류률(EER)이 10.08%를 기록하여 기준 모델(12.80% EER) 대비 성능 저하의 65% 이상을 보완하였다.
• 출력층의 KL 발산과 화자 임베딩 간 코사인 거리의 조합을 사용한 경우가, 단일 목적 함수만을 사용한 경우보다 성능이 뛰어났다.
• 발화 지속 시간이 다양할 경우에도 일관된 성능을 유지하였으며, 지속 시간 범위를 ±0.5초로 확장해도 EER은 10.08%에서 10.40%로 약간 상승하는 데 그쳤다.
• 코사인 기반의 임베딩 비교가 MSE 기반 또는 KL-발산 전용 기반 대비 성능 향상이著하여, 화자 신원의 구조를 유지하는 데 효과적임을 시사한다.
• 음소 수준 특징을 통한 네트워크 내 보정이 추출 후 특징 변환보다 더 효과적임을 입증하였으며, 이는 임베딩 학습 과정에서 분류 능력 정보를 유지하기 때문이다.
• 제거 실험을 통해 출력층과 임베딩 공간 정렬의 공동 최적화가 필수적임을 확인하였으며, 단일 손실 항목만을 사용할 경우 최적의 성능을 달성하지 못하였다.