[論文レビュー] The CUHK-TUDELFT System for The SLT 2021 Children Speech Recognition Challenge

Si Ioi Ng, Wei Liu+5 more|arXiv (Cornell University)|Nov 12, 2020

Speech Recognition and Synthesis参考文献 36被引用数 4

ひとこと要約

本論文は、SLT 2021 子供発話認識チャレンジにおけるCUHK-TUDELFTシステムを提示する。このシステムは、大人の発話からの転移学習を用いた、統合CTC-アテンションエンドツーエンド（E2E）ASRフレームワークを採用し、データ拡張（速度変更、SpecAugment、RIR、音量変更）、およびハイブリッド言語モデル（4-gramとRNN-LM）を組み合わせている。テストセットでは20.1%の文字誤り率（CER）を達成し、公式評価セットでは23.6%のCERを記録し、全体で10位となった。

ABSTRACT

This technical report describes our submission to the 2021 SLT Children Speech Recognition Challenge (CSRC) Track 1. Our approach combines the use of a joint CTC-attention end-to-end (E2E) speech recognition framework, transfer learning, data augmentation and development of various language models. Procedures of data pre-processing, the background and the course of system development are described. The analysis of the experiment results, as well as the comparison between the E2E and DNN-HMM hybrid system are discussed in detail. Our system achieved a character error rate (CER) of 20.1% in our designated test set, and 23.6% in the official evaluation set, which is placed at 10-th overall.

研究の動機と目的

• 限られたデータと音響的ばらつきの影響を受ける子供発話認識に適した高精度な自動音声認識（ASR）システムの開発。
• 特にデータが不足する状況下でも、統合CTC-アテンション学習を用いたエンドツーエンド（E2E）ASRの有効性の調査。
• 大人の発話データからの転移学習およびさまざまなデータ拡張技術が、E2E ASR性能に与える影響の評価。
• E2E ASRと従来のハイブリッドDNN-HMMシステムの性能比較、および異なる言語モデル（LM）統合戦略の影響の評価。

提案手法

• 統合CTC-アテンションエンドツーエンドASRフレームワークを採用。シーケンス・ツー・シーケンスモデリングのため、接続主義的時系列分類（CTC）とアテンションベースのデコードを統合。
• 転移学習として、E2Eモデルを事前に341時間の大人の読み発話（セットA）で学習し、その後59時間の子供発話（C1およびC2）でファインチューニング。
• データ拡張には、3方向の速度変更、SpecAugment、リバーブ（RIR）、音量変更を適用し、耐障害性を向上させ、過学習を低減。
• 2種類の言語モデルを用いる：4-gramの文字レベルLMとRNN-LM。両者を組み合わせてE2E ASRの予測結果を再スコアリングし、精度向上を図る。
• 比較のため、同じデータと言語モデルを用いたハイブリッドDNN-HMM ASRシステムも開発。HMM状態遷移と音響モデルに基づくデコードを採用。
• 訓練データは発話者単位で分割され、それぞれのセットA、C1、C2について、81%を訓練、9%を検証、10%をテストに割り当て、データ漏洩を回避。

実験結果

リサーチクエスチョン

• RQ1 大人の発話データからの転移学習が、限られた子供発話データにおけるエンドツーエンドASR性能を顕著に向上させるか？
• RQ2 速度変更、SpecAugment、RIRなどのさまざまなデータ拡張技術は、子供発話ASRにおける過学習の低減と一般化性能の向上にどの程度効果的か？
• RQ3 4-gramとRNN-LMといった複数の言語モデルを統合することで、子供発話認識におけるE2E ASR性能に顕著な向上が得られるか？
• RQ4 E2E ASRシステムと従来のハイブリッドDNN-HMMシステムの性能を比較すると、特に会話的発話環境下での子供発話認識において、どちらが優れているか？

主な発見

• 転移学習を用いたE2E ASRシステムは、C1およびC2の統合テストセットで20.1%の文字誤り率（CER）を達成し、E2Eシステムとしては最高の性能を記録した。
• 速度変更に加え、SpecAugment、RIR、音量変更といった追加のデータ拡張を適用したことで、E2EシステムのCERは23.6%から21.2%に低下し、顕著な改善が確認された。
• 4-gram LMとRNN-LMを組み合わせてE2Eシステムの予測結果を再スコアリングすることで、CERは20.1%にまで低下したが、性能劣化を避けるためにLMおよびデコーダーの重みを慎重に調整する必要があった。
• ハイブリッドDNN-HMMシステムもRNN-LMによる再スコアリングで20.1%のCERを達成し、最良のE2Eシステムと同等の性能を示した。これはハイブリッドモデルの強力な競争力の証左である。
• 「大人のデータのみ」のE2EシステムはC1では12.4%のCERを記録したが、C2では56.0%にまで上昇した。これは、会話的発話の認識が、読み発話と比べて著しく困難であることを示している。
• 「子供のデータのみ」のシステムは、C1およびC2を統合した場合に「大人のデータのみ」を上回ったが、C1単体では性能が劣った。これは、大人のデータが読み発話認識に役立つ一方で、会話的スタイルの認識には子供のデータが不可欠であることを示している。