[논문 리뷰] Meta-Learning for Short Utterance Speaker Recognition with Imbalance Length Pairs

Seong Min Kye, Youngmoon Jung외 3명|arXiv (Cornell University)|2020. 04. 06.

Speech Recognition and Synthesis참고 문헌 31인용 수 14

한 줄 요약

이 논문은 긴 등록 음성(5초)과 짧은 테스트 음성(1–2초)으로 구성된 비균형 길이의 지원-질의 쌍을 사용하여 짧은 음성 발화에 대한 화자 인식을 위한 메타학습 프레임워크를 제안한다. 에피소드 기반 학습과 전역 분류를 결합하여 강력하고 구분력 있는 임bedding을 학습한다. 이는 복잡한 아키텍처나 고차원적 특징을 사용하지 않음에도 불구하고, VoxCeleb에서 1–2초 발화에 대한 화자 확인 및 미리보지 않은 화자 식별에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

In practical settings, a speaker recognition system needs to identify a speaker given a short utterance, while the enrollment utterance may be relatively long. However, existing speaker recognition models perform poorly with such short utterances. To solve this problem, we introduce a meta-learning framework for imbalance length pairs. Specifically, we use a Prototypical Networks and train it with a support set of long utterances and a query set of short utterances of varying lengths. Further, since optimizing only for the classes in the given episode may be insufficient for learning discriminative embeddings for unseen classes, we additionally enforce the model to classify both the support and the query set against the entire set of classes in the training set. By combining these two learning schemes, our model outperforms existing state-of-the-art speaker verification models learned with a standard supervised learning framework on short utterance (1-2 seconds) on the VoxCeleb datasets. We also validate our proposed model for unseen speaker identification, on which it also achieves significant performance gains over the existing approaches. The codes are available at https://github.com/seongmin-kye/meta-SR.

연구 동기 및 목표

• 실생활 상황에서 짧은 테스트 음성(1–2초)이 사용될 경우 성능 저하 문제를 해결하기 위해.
• 다양한 길이의 짧은 질의를 사용하여 실제 훈련 조건을 시뮬레이션함으로써, 새로운 화자에 대한 모델 일반화 능력을 향상시키기 위해.
• 모든 훈련 클래스에 대해 전역 분류를 결합한 에피소드 기반 메타학습을 통해 임bedding의 구분 능력을 향상시키기 위해.
• 복잡한 아키텍처나 고차원적 특징 없이도 짧은 음성 발화에 대한 화자 확인 및 새로운 화자 식별에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 각 에피소드가 긴 음성(5초)으로 구성된 지원 세트와 짧고 길이가 변하는 음성(1–2초)으로 구성된 질의 세트를 포함하는 프로토타입 네트워크 기반 메타학습 프레임워크를 사용한다.
• 특징 집약을 위해 시간 평균 풀링(TAP)을 적용하고, 임bedding 학습을 위해 마진이 없는 거리 기반 손실 함수를 사용한다.
• 이중 훈련 목표를 구현한다: 지원-질의 쌍에 대한 에피소드 기반 분류 손실과 모든 샘플에 대해 전체 훈련 클래스에 대한 전역 분류 손실.
• 기본 네트워크로 ResNet34를 사용하고, 40차원의 로그 멜 필터뱅크 특징을 사용하여 계산 비용을 줄이면서도 효율성을 유지한다.
• 짧은 음성을 해당하는 긴 등록 샘플에 매칭시키는 동시에, 모든 화자 클래스에 대해 임bedding의 구분 능력을 확보하도록 모델을 훈련한다.
• 훈련과 추론 간 일관성을 확보하기 위해, 훈련 중에 미리보지 않은 화자를 대상으로 하여 제로샷 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비균형 길이의 지원-질의 쌍을 사용한 메타학습이 표준 지도 학습 대비 짧은 음성 발화에 대한 화자 확인 성능 향상에 기여하는가?
• RQ2 모든 훈련 클래스에 대한 전역 분류와 에피소드 기반 메타학습을 결합함으로써 임bedding의 구분 능력과 다양한 음성 지속 시간에 대한 강건성이 향상되는가?
• RQ3 제안된 방법은 등록 데이터가 제한된 상황에서 새로운 화자 식별 작업에 얼마나 잘 일반화되는가?
• RQ4 메타학습 중 질의 음성의 길이와 변동성은 모델 성능에 어느 정도 영향을 미치는가?
• RQ5 복잡한 아키텍처나 고차원적 특징을 사용하지 않아도, 간단한 모델 아키텍처와 저차원 특징을 사용한 모델이 짧은 음성 설정에서 최신 기술 수준의 모델을 초월할 수 있는가?

주요 결과

• 제안된 모델은 VoxCeleb1 데이터셋에서 1–2초 화자 확인 작업에서 최신 기술 수준의 성능를 달성하였으며, 복잡한 집약 방식이나 마진 기반 손실을 사용한 이전 방법들을 모두 능가한다.
• 미리보지 않은 화자 식별에서, 1초 질의에 대해 96.40%의 정확도, 2초 질의에 대해 98.38%의 정확도를 기록하여, 기존의 단순 훈련 방법보다 뚜렷이 뛰어난 성능를 보였다.
• 비균형 길이 쌍(변동하는 짧은 질의)을 사용한 모델이 동일 길이 또는 고정 길이 쌍 설정보다 성능가 뛰어나, 지속 시간 변동에 대한 강건성이 향상됨을 입증하였다.
• 고차원 입력이나 복잡한 모듈을 사용하지 않아도, 40차원의 특징과 마진 기반 최적화 없이도, 더 높은 차원의 입력을 사용한 기준 모델들을 능가하는 성능를 기록하였다.
• 후보 화자 수가 증가할수록 제안된 방법과 단순 훈련 간 성능 격차가 커지며, 이는 개방 집합 상황에서의 강력한 일반화 능력을 시사한다.
• 전역 분류 손실이 클래스 간 군집화를 크게 향상시키고, 음성 지속 시간에 의한 변동성을 감소시켜 더 구분력 있는 임bedding을 생성한다.