[논문 리뷰] Speaker Recognition Based on Deep Learning: An Overview

Zhongxin Bai, Xiao-Lei Zhang|arXiv (Cornell University)|2020. 12. 02.

Speech Recognition and Synthesis참고 문헌 186인용 수 10

한 줄 요약

이 논문은 심층 학습 기반의 화자 인식에 대한 종합적인 개요를 제공하며, 화자 검증, 식별, 다이아라이제이션 및 내성 인식에 중점을 둔다. 입력 표현, 신경망 아키텍처, 시간적 풀링, 손실 함수 등의 핵심 구성 요소를 상세히 설명하면서, 엔드 투 엔드 다이아라이제이션, 도메인 적응, 노이즈 내성 향상 분야의 최근 발전을 조사하여 이 분야의 연구자들에게 기초 자료를 제공한다.

ABSTRACT

Speaker recognition is a task of identifying persons from their voices. Recently, deep learning has dramatically revolutionized speaker recognition. However, there is lack of comprehensive reviews on the exciting progress. In this paper, we review several major subtasks of speaker recognition, including speaker verification, identification, diarization, and robust speaker recognition, with a focus on deep-learning-based methods. Because the major advantage of deep learning over conventional methods is its representation ability, which is able to produce highly abstract embedding features from utterances, we first pay close attention to deep-learning-based speaker feature extraction, including the inputs, network structures, temporal pooling strategies, and objective functions respectively, which are the fundamental components of many speaker recognition subtasks. Then, we make an overview of speaker diarization, with an emphasis of recent supervised, end-to-end, and online diarization. Finally, we survey robust speaker recognition from the perspectives of domain adaptation and speech enhancement, which are two major approaches of dealing with domain mismatch and noise problems. Popular and recently released corpora are listed at the end of the paper.

연구 동기 및 목표

• 기존 접근 방식을 초월한 최근 발전을 중점으로 하여 심층 학습 기반 화자 인식 방법에 대한 체계적이고 최신의 개요를 제공하는 것.
• 검증 및 식별 작업 전반에 걸쳐 효과적인 화자 표현 학습을 가능하게 하는 핵심 구성 요소—입력, 네트워크 구조, 시간적 풀링, 손실 함수—를 분석하는 것.
• 교수학습, 엔드 투 엔드, 온라인 학습 철학을 포함한 다이아라이제이션 시스템의 최근 진전을 조사하는 것.
• 도메인 적응 및 음성 강화 기법을 통한 내성 화자 인식 기술을 검토하여 노이즈 및 도메인 불일치 문제에 대응하는 것.
• 연구 참고를 위해 최근에 발표된 주요 화자 인식 데이터셋을 정리하고 요약하는 것.

제안 방법

• 화자 임베딩 추출을 위한 하이브리드 심층 학습 아키텍처인 DNN-UBM/i-vector 및 DNN-BNF/i-vector를 검토한다.
• 다양한 입력 특징(예: 원시 웨이브폼, 스펙트로그램, MFCC)의 역할과 모델 성능에 미치는 영향을 분석한다.
• 화자 임베딩 학습에 사용된 다양한 심층 신경망 아키텍처(예: DNN, CNN, RNN, Transformers)를 검토한다.
• 시퀀스 수준 표현을 위한 평균 풀링, 통계 풀링, 주의 기반 집계와 같은 시간적 풀링 전략을 비교한다.
• 엔드 투 엔드 화자 검증에서 사용된 손실 함수를 조사하며, 트리플릿 손실, 대비 손실, 마진 기반 손실 함수를 중심으로 훈련 샘플 구성 전략을 분석한다.
• 화자 전환과 정체성을 동시에 예측하는 엔드 투 엔드 다이아라이제이션 시스템을 검토하며, 온라인 및 다중 모odal 접근 방식을 포함한다.

실험 결과

연구 질문

• RQ1 심층 학습 기반 화자 임베딩 방법은 기존의 GMM-UBM 및 i-vector 시스템에 비해 성능을 어떻게 향상시키는가?
• RQ2 효과적인 화자 표현 학습을 가능하게 하는 핵심 아키텍처 및 훈련 구성 요소(입력, 네트워크, 풀링, 손실 함수)는 무엇인가?
• RQ3 기존의 두 단계 접근 방식에 비해 엔드 투 엔드 및 온라인 다이아라이제이션 시스템은 어떻게 발전했는가?
• RQ4 도메인 적응 및 음성 강화 기법은 노이즈가 많거나 도메인이 불일치하는 조건에서 내성성을 얼마나 향상시키는가?
• RQ5 현대의 화자 인식 시스템을 훈련 및 평가하기 위해 가장 관련성 있고 널리 사용되는 데이터셋은 무엇인가?

주요 결과

• 심층 학습은 화자 인식 성능을 크게 향상시켰으며, 도전적인 실생활 환경에서도 최고 수준의 성능을 달성했다.
• 대비 또는 트리플릿 손실 함수를 사용하는 엔드 투 엔드 화자 임베딩 모델은 검증 및 식별 작업 전반에서 기존의 두 단계 시스템을 능가한다.
• 교수학습 기반 엔드 투 엔드 다이아라이제이션 시스템은 기존의 파이프라인 방법에 비해 성능이 향상되었으며, 특히 겹침 음성 및 변동하는 화자 수 처리에 유리하다.
• 대부분의 경우, 적대적 훈련 기반 도메인 적응 기법은 성능 향상에서 기존의 PLDA 기반 적응을 능가하지 못하고 있다.
• 특히 심층 학습과 통합된 음성 강화 방법은 노이즈를 효과적으로 완화하고 노이즈 조건에서의 인식 정확도를 향상시킨다.
• 최근에 발표된 데이터셋인 DIHARD, AMI, FFSVC20, LibriCSS는 화자 인식 시스템의 내성성 및 실생활 적용 가능성 평가에 있어 중요한 진전을 이끌었다.