[論文レビュー] AISHELL-4: An Open Source Dataset for Speech Enhancement, Separation, Recognition and Speaker Diarization in Conference Scenario

Yihui Fu, Luyao Cheng+11 more|arXiv (Cornell University)|Apr 8, 2021

Speech Recognition and Synthesis被引用数 8

ひとこと要約

AISHELL-4 は、会議の場面で 8 チャネルのマイクロホンアレイを用いて収録された 120 時間の本物の録音 Mandarin マルチスプーカー会議データセットであり、重なり、一時停止、ノイズなどの自然な発話特性を有する。本稿では、音声増幅、分離、認識、ダイアライゼーションを統合した PyTorch ベースのベースラインシステムを提案し、フロントエンド処理後、スプーカー非依存およびスプーカー依存の ASR タスクでそれぞれ 30.49% および 39.86% の文字誤り率 (CER) を達成した。これは、生の入力に比べ顕著な向上を示した。

ABSTRACT

In this paper, we present AISHELL-4, a sizable real-recorded Mandarin speech dataset collected by 8-channel circular microphone array for speech processing in conference scenario. The dataset consists of 211 recorded meeting sessions, each containing 4 to 8 speakers, with a total length of 120 hours. This dataset aims to bridge the advanced research on multi-speaker processing and the practical application scenario in three aspects. With real recorded meetings, AISHELL-4 provides realistic acoustics and rich natural speech characteristics in conversation such as short pause, speech overlap, quick speaker turn, noise, etc. Meanwhile, accurate transcription and speaker voice activity are provided for each meeting in AISHELL-4. This allows the researchers to explore different aspects in meeting processing, ranging from individual tasks such as speech front-end processing, speech recognition and speaker diarization, to multi-modality modeling and joint optimization of relevant tasks. Given most open source dataset for multi-speaker tasks are in English, AISHELL-4 is the only Mandarin dataset for conversation speech, providing additional value for data diversity in speech community. We also release a PyTorch-based training and evaluation framework as baseline system to promote reproducible research in this field.

研究の動機と目的

• マルチスプーカー音声処理のための大規模で現実世界の Mandarin 会議データセットが不足しているという問題に対処すること。
• 会議室のような複雑な音響環境における先進的で実用的応用のギャップを埋めること。
• 統一的かつ現実的なデータセットを通じて、音声増幅、分離、認識、ダイアライゼーションの共同最適化を支援すること。
• データセットとともに提供される PyTorch ベースのトレーニングおよび評価フレームワークにより、再現可能な研究を促進すること。

提案手法

• データセットは、実際の会議会場で 8 チャネルの円形マイクロホンアレイを用いて収録され、1 会議あたり 4〜8 人の話者が含まれる 211 セッション分を含む。
• 高精度なアノテーションには、単語レベルの転写、話者発話区間の境界、および各会議における音声活動検出 (VAD) が含まれる。
• 複雑なスペクトログラムに基づくビームフォーミング法を用いた複数段階のベースラインシステムが開発され、音声増幅および分離に用いられ、重みベクトルは $ \mathbf{w}_f^k = \frac{\mathbf{R}_f^{-1}\mathbf{u}_r}{\mathbf{u}_r^H\mathbf{R}_f^{-1}\mathbf{u}_r} $ で定義される。
• 音声認識には 2 層の 2D CNN に続く 8 層のトランスフォーマー エンコーダーと 6 層のデコーダーを採用し、共同 CTC とクロスエントロピー損失で訓練した。
• SpecAugment を用いたデータ拡張と、シミュレーテッドおよび本物の録音データの混合学習（学習用 768 時間、開発用 97 時間）により、モデルの耐障害性が向上した。
• 評価では、スプーカー非依存およびスプーカー依存の CER メトリクスを用い、前者では真値のセグメンテーションが使用され、後者ではフルパイプラインが使用された。

Figure 1: An example of recording venue of training set and the topology of microphone array.

実験結果

リサーチクエスチョン

• RQ1 会議場のような現実世界の音響劣化が、自動音声認識性能にどのように影響を与えるか？
• RQ2 フロントエンド処理（増幅、分離、SAD、ダイアライゼーション）により、重なりのあるマルチスプーカー会議における ASR の正確性はどの程度向上するか？
• RQ3 増幅、分離、認識、ダイアライゼーションを統合したエンドツーエンドのパイプラインは、個別モジュールよりも優れた性能を達成できるか？
• RQ4 同じドメインの本物の録音データでファインチューニングされたモデルと、合成データで訓練されたモデルの性能は、どのように比較できるか？

主な発見

• 生の未処理入力を使用したスプーカー非依存 ASR タスクにおいて、ベースラインシステムは 32.56% の CER を達成し、現実世界の音響環境の影響が顕著であることを示した。
• フロントエンド処理（増幅、分離、SAD、ダイアライゼーション）を適用した後、スプーカー非依存タスクの CER は 30.49% に低下し、明確な改善が確認された。
• スプーカー依存タスクでは、フロントエンド処理後、CER が 41.55% から 39.86% に低下し、フルパイプライン評価においても一貫した向上が得られた。
• 訓練に本物の録音データ（63 時間）を含めることで、合成データのみを用いた場合に比べ、モデルの汎化性能が顕著に向上した。
• 提案された PyTorch ベースのフレームワークにより、再現可能な研究が可能となり、音声処理タスク間の共同最適化が促進された。
• AISHELL-4 は、大規模で本物の録音 Mandarin 会議データセットとして初めてのものであり、非英語言語の音声処理研究において独自の価値を有する。