[論文レビュー] 3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement

Siqi Zheng, Luyao Cheng+3 more|arXiv (Cornell University)|Jun 27, 2023

Speech Recognition and Synthesis被引用数 5

ひとこと要約

3D-Speaker は、10,000人を超える話者を含み、複数のデバイス、距離、方言で記録された大規模で公開可能な音声コーパスであり、音声表現の分離に関する研究を可能にする。これは教師あり学習および自己教師あり学習をサポートし、ドメイン外一般化およびユニバーサル音声モデルの評価を可能にし、ベンチマーク結果では、デバイス間、距離間、方言間の話者認証タスクで最先端の性能を示している。

ABSTRACT

Disentangling uncorrelated information in speech utterances is a crucial research topic within speech community. Different speech-related tasks focus on extracting distinct speech representations while minimizing the affects of other uncorrelated information. We present a large-scale speech corpus to facilitate the research of speech representation disentanglement. 3D-Speaker contains over 10,000 speakers, each of whom are simultaneously recorded by multiple Devices, locating at different Distances, and some speakers are speaking multiple Dialects. The controlled combinations of multi-dimensional audio data yield a matrix of a diverse blend of speech representation entanglement, thereby motivating intriguing methods to untangle them. The multi-domain nature of 3D-Speaker also makes it a suitable resource to evaluate large universal speech models and experiment methods of out-of-domain learning and self-supervised learning. https://3dspeaker.github.io/

研究の動機と目的

• 話者ID、デバイス、距離、方言といった複数の音声属性について明示的なラベルが付与された、大規模で公開可能なデータセットの不足に対処すること。
• 内容、話者ID、デバイス、環境といった相関のない音声情報の分離を可能にし、ASR、SV、音声合成の性能向上を図ること。
• 多様なドメインにわたる一般化が可能なユニバーサル音声モデルの開発と評価を支援すること。
• 制御された多次元的データ変動を通じて、ドメイン外学習および自己教師あり表現学習を促進すること。

提案手法

• コーパスは、複数のデバイスをさまざまな距離に配置し、10,000人を超える話者を記録することで収集された。
• 各発話は、話者ID、記録デバイス、音源からの距離、方言について明示的なラベルが付与されており、多次元的分離実験が可能である。
• 教師ありおよび自己教師あり学習の両方をサポートし、ECAPA-TDNN、CAM++、ERes2Netといったベースラインモデルが複数のトラックで訓練および評価された。
• デバイス間、距離間、方言間の話者認証を対象としたマルチトラックベンチマークフレームワークが構築され、登録発話とテスト発話が内容およびドメインで異なることを保証する厳密なプロトコルが採用された。
• 自己教師あり学習のベースラインは、RDINO手法を用いて評価され、すべてのラベルを未知として扱い、教師なしでの表現学習の性能を評価した。
• 特定のサブセット（例：近距離のみ）で学習し、他のサブセット（例：遠距離）でテストすることで、ドメイン外評価が可能となり、実世界のドメインシフトを模擬した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多次元のドメイン環境下で、モデルは記録デバイス、距離、方言といった相関のない要因から話者IDをどれほど効果的に分離できるか？
• RQ2 自己教師あり学習手法は、すべての属性について明示的なラベルが与えられていない 3D-Speaker から、効果的に分離された表現を学習できるか？
• RQ3 3D-Speaker で学習したユニバーサル音声モデルは、デバイス、距離、方言のドメインにわたってどれほど一般化するか？
• RQ4 モデルが特定のドメイン（例：近距離）で学習され、別のドメイン（例：遠距離）でテストされた場合、話者認証の性能ギャップはどの程度か？
• RQ5 複数の方言を含めることで、話者埋め込みモデルの頑健性および分離能力にどのような影響が生じるか？

主な発見

• ECAPA-TDNN モデルは、デバイス間話者認証トラックで EER 8.87%、minDCF 0.732 を達成し、ドメイン一般化性能が優れていることを示した。
• CAM++ Base モデルは、デバイス間トラックで EER 7.75%、minDCF 0.723 を達成し、ベースラインモデルよりも優れた頑健性を示した。
• ERes2Net Large モデルは、デバイス間トラックで EER 6.55%、minDCF 0.640 を達成し、モデルスケールとアーキテクチャの利点を強調した。
• 距離間トラックでは、ERes2Net Large モデルが EER 9.45%、minDCF 0.713 を達成し、近距離および遠距離条件の両方で強い一般化性能を示した。
• ベースライン自己教師あり RDINO モデルは、デバイス間で EER 20.41%、距離間で 21.92%、方言間で 25.53% を達成し、教師なし分離の改善余地が大きいことを示した。
• 言語／方言識別ベースラインはテスト精度 29.36% を達成し、明示的な監視なしに生の音声から方言表現を学習することは著しく困難であることを示した。