[논문 리뷰] CN-CELEB: a challenging Chinese speaker recognition dataset

Yue Fan, Jiawen Kang외 8명|arXiv (Cornell University)|2019. 10. 31.

Speech Recognition and Synthesis참고 문헌 22인용 수 13

한 줄 요약

이 논문은 11개의 다양한 장르에서 1,000명의 유명인으로부터 130,000건 이상의 발화를 포함한 대규모이고 실외 환경을 반영한 중국어 화자 인식 데이터셋인 CN-Celeb를 소개한다. 실험 결과, 최신 i-vector 및 x-vector 시스템이 VoxCeleb보다 CN-Celeb에서 훨씬 열악한 성능을 보이며(19.05%까지 EER 상승), 실제 환경 조건이 이전에 상정된 것보다 훨씬 더 큰 과제를 야기함을 시사한다.

ABSTRACT

Recently, researchers set an ambitious goal of conducting speaker recognition in unconstrained conditions where the variations on ambient, channel and emotion could be arbitrary. However, most publicly available datasets are collected under constrained environments, i.e., with little noise and limited channel variation. These datasets tend to deliver over optimistic performance and do not meet the request of research on speaker recognition in unconstrained conditions. In this paper, we present CN-Celeb, a large-scale speaker recognition dataset collected `in the wild'. This dataset contains more than 130,000 utterances from 1,000 Chinese celebrities, and covers 11 different genres in real world. Experiments conducted with two state-of-the-art speaker recognition approaches (i-vector and x-vector) show that the performance on CN-Celeb is far inferior to the one obtained on VoxCeleb, a widely used speaker recognition dataset. This result demonstrates that in real-life conditions, the performance of existing techniques might be much worse than it was thought. Our database is free for researchers and can be downloaded from http://project.cslt.org.

연구 동기 및 목표

• 제약 조건이 없는 환경에서의 화자 인식을 위한 현실적이고 다양한 대규모 데이터셋의 부족을 해결하기 위해.
• 언어적 다양성과 장르 다양성을 강조하여 실제 세계의 장르, 채널, 환경 조건의 변동성을 반영한 중국어 화자에 초점된 벤치마크 데이터셋을 제공하기 위해.
• 현재의 화자 인식 시스템, 심지어 최신 기술이라도 실제 환경 조건에서는 제약 조건이 있는 데이터셋보다 훨씬 열악한 성능을 보임을 입증하기 위해.
• VoxCeleb와 보완적인 역할을 하여 더 견고한 모델 평가를 위한 언어적 및 장르적 다양성을 강조한 보완 데이터셋을 제공하기 위해.

제안 방법

• 컴퓨터 비전 기법을 활용해 VoxCeleb의 자동화된 데이터 수집 파이프라인을 재현하여 얼굴 검출, 추적 및 비디오-오디오 동기화를 수행하였다.
• 인터뷰, 노래, 드라마, 블로그 영상 등 11개의 실제 장르에서 1,000명의 중국 유명인으로부터 음성 데이터를 수집하였다.
• 자동 사전 선택 후 인간 검증을 포함한 이중 단계의 데이터 정제 전략을 적용하여, 특히 복잡한 장르에서의 데이터 품질을 향상시켰다.
• 평가를 위해 표준 프론트엔드(GMM-UBM 및 DNN)와 백엔드(LDA-PLDA) 파이프라인을 사용해 i-vector 및 x-vector 시스템을 훈련시켰다.
• 공정한 비교를 위해 등장 오류율(EER)을 주요 평가 지표로 사용하여 SITW 및 재정렬된 버전을 포함한 다양한 데이터셋 간의 성능을 비교하였다.
• 일반화 능력과 데이터셋의 난이도를 평가하기 위해 CN-Celeb 전용, VoxCeleb 전용, 혼합 데이터로 훈련한 시스템을 활용한 분석 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 CN-Celeb에서의 화자 인식 성능는 널리 사용되는 벤치마크 데이터셋인 VoxCeleb와 비교해 어떻게 다를까?
• RQ2 장르 다양성과 실제 기록 조건은 최신 화자 인식 시스템의 성능에 얼마나 심각하게 악영향을 미칠까?
• RQ3 VoxCeleb에서 훈련한 모델은 CN-Celeb와 같이 새로운 언어적·음향적 다양성을 지닌 새로운 데이터셋으로 일반화가 잘 되는가?
• RQ4 동일한 도전적인 테스트 세트에서 평가했을 때, CN-Celeb에서만 훈련한 모델이 VoxCeleb에서 훈련한 모델보다 더 나은 일반화 성능를 보일 수 있는가?
• RQ5 주로 자동화된 파이프라인에 인간 검증 데이터를 포함시키는 것이 화자 인식 시스템의 강건성에 어떤 영향을 미치는가?

주요 결과

• i-vector 시스템은 CN-Celeb(E)에서 19.05%의 EER을 기록했고, SITW(S)에서는 7.30%를 기록하여 실제 환경 조건에서 성능 저하가 심각하게 발생함을 확인하였다.
• x-vector 시스템은 CN-Celeb(E)에서 15.52%의 EER을 기록했고, SITW(S)에서는 4.78%로 훨씬 낮아져, 이 데이터셋이 더 높은 난이도를 지닌다는 것을 확인하였다.
• VoxCeleb의 더 작은 비교 가능한 서브셋(VoxCeleb(L))으로 백엔드 모델을 재학습한 결과, SITW(S)에서 11.34%의 EER을 기록했고, 이는 CN-Celeb(T) 전용으로 훈련한 시스템(14.24% EER)보다 뛰어난 성능을 보였다.
• CN-Celeb 데이터 전용으로 훈련한 CN-Celeb(T) 시스템는 CN-Celeb(E)에서 14.24%의 EER을 기록했으며, 동일한 소스에서 훈련한 상황임에도 불구하고 일반화 능력이 열악함을 보여주었다.
• CN-Celeb와 VoxCeleb 간의 성능 격차는 현재의 화자 인식 모델이 이전에 상정된 것보다 실제 환경에서 제약 조건이 없는 환경에서 훨씬 더 취약함을 시사한다.