[논문 리뷰] Unified Hypersphere Embedding for Speaker Recognition

Mahdi Hajibabaei, Dengxin Dai|arXiv (Cornell University)|2018. 07. 22.

Speech Recognition and Synthesis인용 수 51

한 줄 요약

이 논문은 텍스트 독립 스피커 인식을 위한 통합 하이퍼스피어 임베딩 프레임워크를 제시하며, 증강, 임베딩 차원 조정, 그리고 새로 고안된 로지스틱 마진 손실을 활용해 추가 데이터나 더 깊은 모델 없이도 식별 및 검증 성능을 향상시킨다.

ABSTRACT

Incremental improvements in accuracy of Convolutional Neural Networks are usually achieved through use of deeper and more complex models trained on larger datasets. However, enlarging dataset and models increases the computation and storage costs and cannot be done indefinitely. In this work, we seek to improve the identification and verification accuracy of a text-independent speaker recognition system without use of extra data or deeper and more complex models by augmenting the training and testing data, finding the optimal dimensionality of embedding space and use of more discriminative loss functions. Results of experiments on VoxCeleb dataset suggest that: (i) Simple repetition and random time-reversion of utterances can reduce prediction errors by up to 18%. (ii) Lower dimensional embeddings are more suitable for verification. (iii) Use of proposed logistic margin loss function leads to unified embeddings with state-of-the-art identification and competitive verification accuracies.

연구 동기 및 목표

• 추가 데이터나 더 깊은 모델 없이 스피커 식별 및 검증 정확도를 향상시키기.
• 학습 및 테스트 중에 적용할 수 있는 데이터 증강 기법을 탐구한다.
• 검증 및 식별 작업에 대한 최적 임베딩 차원을 결정한다.

제안 방법

• 3초 자르고 STFT 기반 특징을 추출하고, 증강을 위해 반복 또는 시간 반전을 통해 발화를 확장한다.
• 임베딩 네트워크로 ResNet-20을 사용하여 512차 임베딩을 생성한다.
• Softmax, A-Softmax, AM-Softmax 등을 포함한 다양한 판별 손실 함수와 제안된 Logistic Margin 손실로 학습한다.
• VoxCeleb 전반에 걸쳐 식별은 Top-1/Top-5 정확도로, 검증은 EER/Cdet로 임베딩을 평가한다.
• 식별 및 검증 성능 간의 트레이드오프를 평가하기 위해 임베딩 차원(64–512)을 비교한다.

실험 결과

연구 질문

• RQ1 반복 및 시간 반전을 통한 증강이 추가 데이터 없이 식별 및 검증을 향상시키는가?
• RQ2 스피커 검증 및 식별에 대한 최적 임베딩 차원은 무엇인가?
• RQ3 이 아키텍처에서 어떤 판별 손실 함수가 가장 좋은 식별 및 검증 성능을 보이는가?

주요 결과

• 학습 및 테스트 단계 모두에 적용된 증강이 식별 오류를 최대 약 18% 감소시킨다.
• 더 낮은 임베딩 차원(예: 64–128)이 검증에 유리하고, 256–512 차원은 식별을 최적화할 수 있다.
• 클래스별 독립적 스케일과 바이어스를 갖는 로지스틱 마진 손실이 가장 높은 식별 정확도(특히 512-d 임베딩에서)와 경쟁력 있는 검증 성능을 달성한다.
• 드롭아웃은 여러 손실 함수에 걸쳐 일반적으로 검증 정확도를 향상시킨다; 이 연구에서 드롭아웃과 함께한 AM-Softmax가 검증에서 뛰어나다.
• 다른 VoxCeleb 기준선과 비교할 때, 제안된 로지스틱 마진 접근법은 강한 검증 성능을 유지하면서 식별 성능을 종종 타격하거나 능가한다.