[論文レビュー] DiDiSpeech: A Large Scale Mandarin Speech Corpus

Tingwei Guo, Wen Cheng+9 more|arXiv (Cornell University)|Oct 19, 2020

Speech Recognition and Synthesis参考文献 52被引用数 4

ひとこと要約

DiDiSpeech は、6,000人の母語話者から収集された約800時間の高品質で48kHzの音声を含む大規模なオープンソース中国語音声コーパスであり、多様な音声処理タスクに最適化されている。これは、自動音声認識（CER: 2.50%）、音声変換、マルチスプーカーTTS、および話者の分類（98.20%のトップ1精度）や年齢推定（MAE: 3.76）といったパラリンガイスティックタスクにおいて最先端の性能を達成しており、研究および産業応用の両面での有用性を示している。

ABSTRACT

This paper introduces a new open-sourced Mandarin speech corpus, called DiDiSpeech. It consists of about 800 hours of speech data at 48kHz sampling rate from 6000 speakers and the corresponding texts. All speech data in the corpus is recorded in quiet environment and is suitable for various speech processing tasks, such as voice conversion, multi-speaker text-to-speech and automatic speech recognition. We conduct experiments with multiple speech tasks and evaluate the performance, showing that it is promising to use the corpus for both academic research and practical application. The corpus is available at https://outreach.didichuxing.com/research/opendata/.

研究の動機と目的

• 多様な音声処理タスクに適した大規模で高品質で多目的な中国語音声コーパスの不足を解消すること。
• スケーラブルでオープンアクセスなデータセットを提供することで、中国語音声技術分野における学術的・産業的応用のギャップを埋めること。
• 音声変換、マルチスプーカーTTS、自動音声認識、およびパラリンガイスティック情報抽出（例：話者、性別、年齢分類）の高度な研究を支援すること。
• 静かな環境での記録条件の制御と年齢、性別、地理的背景のバランスの取れた人種的・文化的分布により、データ品質を確保すること。
• モデルのトレーニングと評価に柔軟な対応が可能な、並列および非並列の発話が含まれるコーパスをリリースすること。

提案手法

• コーパスは2つのサブセットに分割されている：DiDiSpeech-1（572時間、4,500人の話者）は音声変換およびマルチスプーカーTTS用、DiDiSpeech-2（227時間、1,500人の話者）はASRおよびパラリンガイスティックタスク用。
• すべての音声は静かな環境で48kHzのサンプリングレートで記録され、発話ごとに対応する文字起こしが提供された。
• ASRのため、Transformer-ASRモデルにビームサーチ、言語モデル、CTC-ジョイントデコードを組み合わせて学習し、DiDiSpeech-2でCER 2.50%を達成。
• 話者および性別分類のため、40または80次元のフィルターバンク特徴量を用いた薄いResNet-34アーキテクチャを採用し、平均プーリングとソフトマックス層を追加して6,000クラス分類を実行。
• 年齢推定のため、同じモデルアーキテクチャを用い、平均絶対誤差（MAE）とピアソン相関係数を評価指標とし、収束を保証するため初期学習率を小さく設定して学習を実施。
• データは、各話者から4発話ずつランダムに選択して開発およびテストセットに分離し、データオーグメンテーションや音声活動検出は適用しない。

Figure 1: Speaker statistics.

実験結果

リサーチクエスチョン

• RQ1 DiDiSpeechは中国語における高精度な自動音声認識を実現できるか。また、既存のベンチマークと比較してどうなるか。
• RQ2 DiDiSpeechは、リソースが限られた状況下でも、効果的な音声変換およびマルチスプーカーTTS合成を可能にするか。
• RQ3 DiDiSpeechは、話者同定、性別分類、年齢推定といったパラリンガイスティックタスクをどの程度効果的にサポートするか。
• RQ4 DiDiSpeechの多様な人種的・文化的背景と高いデータ品質は、年齢、性別、地域的発音の違いを考慮したモデルの汎化性能を高めるか。
• RQ5 DiDiSpeechは、中国語音声技術の発展を促進するため、特許権のある産業用データセットの代替として実用的か。

主な発見

• DiDiSpeech-2サブセットでは、CTC-ジョイントデコードを用いたTransformer-ASRモデルにより、テストセットで語彙レベルのCERが2.50%に達し、優れたASR性能を示した。
• DiDiSpeechにおける話者分類では、テストセットでトップ1精度98.20%、トップ5精度99.76%を達成し、モデルの信頼性の高さを示した。
• 性別分類では、開発およびテストセットで両方とも97.39%の精度を達成し、成人男性・成人女性・子供のすべてのグループで優れた性能を示した。
• 年齢推定では、テストセットでMAEが3.76、ピアソン相関係数が0.79を記録し、話者の年齢を合理的に予測できる精度を示した。
• このコーパスは、音声変換、マルチスプーカーTTS、話者ダイアライゼーションといった多様な音声タスクをサポートしており、全評価タスクで一貫した性能を示した。
• DiDiSpeech-1に含まれる並列および非並列の発話により、音声変換およびゼロショット転移学習のための柔軟なモデルトレーニングが可能となった。

Figure 2: Text annotation example.