[논문 리뷰] 3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement

Siqi Zheng, Luyao Cheng외 3명|arXiv (Cornell University)|2023. 06. 27.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

3D-Speaker는 10,000명 이상의 화자, 다양한 기기, 거리, 방언에서 기록된 대규모 공개 음성 코퍼스로, 음성 표현의 분리 기반 연구를 가능하게 한다. 이 코퍼스는 지도학습 및 자기지도학습을 지원하며, 이질 도메인 일반화 및 유니버설 음성 모델 평가에 적합하며, 벤치마크 결과는 교차 기기, 교차 거리, 교차 방언 화자 확인 작업에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

Disentangling uncorrelated information in speech utterances is a crucial research topic within speech community. Different speech-related tasks focus on extracting distinct speech representations while minimizing the affects of other uncorrelated information. We present a large-scale speech corpus to facilitate the research of speech representation disentanglement. 3D-Speaker contains over 10,000 speakers, each of whom are simultaneously recorded by multiple Devices, locating at different Distances, and some speakers are speaking multiple Dialects. The controlled combinations of multi-dimensional audio data yield a matrix of a diverse blend of speech representation entanglement, thereby motivating intriguing methods to untangle them. The multi-domain nature of 3D-Speaker also makes it a suitable resource to evaluate large universal speech models and experiment methods of out-of-domain learning and self-supervised learning. https://3dspeaker.github.io/

연구 동기 및 목표

• 화자 식별, 기기, 거리, 방언 등의 다수 음성 속성에 대해 명시적인 레이블을 제공하는 대규모 공개 데이터셋이 부족한 문제를 해결하기 위해.
• 내용, 화자 신원, 기기, 환경 등 상관없는 음성 정보를 분리함으로써 ASR, SV, 음성 합성의 성능 향상을 도모하기 위한 연구를 가능하게 하기 위해.
• 다양한 도메인으로 일반화 가능한 유니버설 음성 모델의 개발 및 평가를 지원하기 위해.
• 통제된 다차원적 데이터 변형을 통해 이질 도메인 학습 및 자기지도학습 기반 표현 학습을 촉진하기 위해.

제안 방법

• 코퍼스는 다양한 기기와 거리에서 10,000명 이상의 화자를 기록하여 수집되었으며, 각 화자는 여러 방언으로 기록되었다.
• 각 음성 문장은 화자 식별, 기록 기기, 소스까지의 거리, 방언에 대해 명시적인 레이블이 부여되어 다차원적 분리 실험을 가능하게 한다.
• 이 데이터셋은 지도학습 및 자기지도학습 모두를 지원하며, ECAPA-TDNN, CAM++, ERes2Net 등의 베이스라인 모델이 여러 트랙에서 훈련 및 평가되었다.
• 교차 기기, 교차 거리, 교차 방언 화자 확인을 위한 다트랙 벤치마크 프레임워크를 구축하였으며, 등록 및 테스트 음성 문장 간 내용과 도메인이 다를 수 있도록 철저한 프로토콜을 적용하였다.
• 자기지도학습 베이스라인은 RDINO 방법을 사용하여 모든 레이블을 미지로 간주함으로써 지도 없이 표현 학습 능력을 평가하였다.
• 특정 서브셋(예: 근거리 전용)에서 훈련하고 다른 서브셋(예: 원거리)에서 테스트함으로써 이질 도메인 평가가 가능하며, 실제 도메인 이동 상황을 시뮬레이션할 수 있다.

실험 결과

연구 질문

• RQ1 대규모 다도메인 환경에서 기기, 거리, 방언과 같은 상관없는 요소로부터 화자 신원을 얼마나 효과적으로 분리할 수 있는가?
• RQ2 모든 속성에 대해 명시적 레이블이 없는 3D-Speaker에서 자기지도학습 방법이 효과적으로 분리된 표현을 학습할 수 있는가?
• RQ3 3D-Speaker에서 훈련된 유니버설 음성 모델은 기기, 거리, 방언 도메인 간에 얼마나 잘 일반화되는가?
• RQ4 모델이 한 도메인(예: 근거리)에서 훈련되고 다른 도메인(예: 원거리)에서 테스트될 경우 화자 확인 성능 격차는 어느 정도인가?
• RQ5 다양한 방언의 포함 여부가 화자 임베딩 모델의 강건성 및 분리 능력에 어떤 영향을 미치는가?

주요 결과

• ECAPA-TDNN 모델은 교차 기기 화자 확인 트랙에서 EER 8.87% 및 minDCF 0.732를 기록하여 도메인 일반화 능력이 뛰어나다는 것을 입증하였다.
• CAM++ Base 모델은 교차 기기 트랙에서 EER 7.75% 및 minDCF 0.723을 기록하여 기존 베이스라인 모델 대비 향상된 강건성을 보였다.
• ERes2Net Large 모델은 교차 기기 트랙에서 EER 6.55% 및 minDCF 0.640을 기록하여 모델 규모 및 아키텍처의 이점이 뚜렷하게 드러났다.
• 교차 거리 트랙에서 ERes2Net Large 모델은 EER 9.45% 및 minDCF 0.713을 기록하여 근거리 및 원거리 조건 간 강력한 일반화 능력을 보였다.
• 자기지도학습 베이스라인인 RDINO 모델은 교차 기기에서 EER 20.41%, 교차 거리에서 EER 21.92%, 교차 방언에서 EER 25.53%를 기록하여 비지도 분리 학습의 향상 여지가 있음을 보여주었다.
• 언어/방언 식별 베이스라인은 테스트 정확도 29.36%를 기록하여, 명시적 지도 없이 원시 음성에서 방언 표현을 학습하는 데 큰 도전 과제가 있음을 시사하였다.