[論文レビュー] Hierarchical Multitask Learning for CTC-based Speech Recognition

Kalpesh Krishna, Shubham Toshniwal+1 more|arXiv (Cornell University)|Jul 17, 2018

Speech Recognition and Synthesis参考文献 31被引用数 36

ひとこと要約

この論文では、CTCベースの音声認識における階層的マルチタスク学習フレームワークを提案する。深く双方向LSTMエンコーダーの中間層に、語彙レベルのCTC損失を適用することで、サブワードレベルのASR性能を向上させる。pretrainingと階層的マルチタスク学習を組み合わせた場合、Eval2000テストセットで3.4%の絶対的WER低減を達成し、標準的なマルチタスク学習やpretraining単体よりも優れた性能を発揮する。

ABSTRACT

Previous work has shown that neural encoder-decoder speech recognition can be improved with hierarchical multitask learning, where auxiliary tasks are added at intermediate layers of a deep encoder. We explore the effect of hierarchical multitask learning in the context of connectionist temporal classification (CTC)-based speech recognition, and investigate several aspects of this approach. Consistent with previous work, we observe performance improvements on telephone conversational speech recognition (specifically the Eval2000 test sets) when training a subword-level CTC model with an auxiliary phone loss at an intermediate layer. We analyze the effects of a number of experimental variables (like interpolation constant and position of the auxiliary loss function), performance in lower-resource settings, and the relationship between pretraining and multitask learning. We observe that the hierarchical multitask approach improves over standard multitask training in our higher-data experiments, while in the low-resource settings standard multitask training works well. The best results are obtained by combining hierarchical multitask learning and pretraining, which improves word error rates by 3.4% absolute on the Eval2000 test sets.

研究の動機と目的

• 中間層の音素レベルの監視を用いた階層的マルチタスク学習が、CTCベースのエンドツーエンド音声認識に与える有効性を調査すること。
• 補助的損失の重み係数λ、損失層の配置、データリソースのレベルがモデル性能に与える影響を分析すること。
• 階層的マルチタスク学習と標準的なマルチタスク学習、およびpretrainingを比較し、それらの組み合わせの有効性を評価すること。
• 補助的音素レベルタスクが、深層ASRモデルの最適化と一般化性能にどのように影響するかを理解すること。

提案手法

• 入力音響特徴を処理する深層双方向LSTMエンコーダーに、最終出力層にサブワードレベルのCTC損失を適用する。
• 中間隠れ層に補助的音素レベルCTC損失を導入し、中間監視を提供する。
• 全体の損失は、サブワードCTC損失と音素CTC損失の重み付き和であり、補助的損失の重み係数λがトレードオフを制御する。
• pretraining段階で音素CTC損失を用い、その後にサブワードCTC損失と併用して共同学習を行う。
• 性能に与える影響を評価するため、補助損失の配置（すなわち、どの層に設けるか）を変化させる。
• 品質比較のため、グリーディデコードを用いてフレームレベルのアライメントを生成する。

実験結果

リサーチクエスチョン

• RQ1 Switchboard 300時間データセットにおいて、中間層に音素レベルCTC損失を適用することで、サブワードレベルCTCベース音声認識性能が向上するか？
• RQ2 サブワードCTC損失と音素CTC損失の間の補助的重み係数λの選択が、主タスクおよび補助タスクの両方の性能に与える影響は？
• RQ3 高リソース環境および低リソース環境において、階層的マルチタスク学習が標準的なマルチタスク学習を上回るか？
• RQ4 音素CTC損失を用いたpretrainingとその後の階層的マルチタスク学習を組み合わせることで、単体の手法よりも優れた結果が得られるか？
• RQ5 モデルのフレームレベルアライメントは、正解アライメントと比較してどうか？また、マルチタスク学習は予測をより早くまたはより自信を持って行うか？

主な発見

• pretrainingと階層的マルチタスク学習を組み合わせた最良のモデルは、ベースラインのサブワードレベルCTCモデルと比較して、Eval2000テストセットで3.4%の絶対的WER低減を達成した。
• 高リソース環境では階層的マルチタスク学習が標準的なマルチタスク学習を上回るが、低リソース環境では標準的なマルチタスク学習の方が優れた性能を示した。
• 最適な補助的重み係数λは、主タスク（サブワード）と補助タスク（音素）の両方の性能を同時に最大化しないことが示され、目的間のトレードオフが存在することがわかった。
• マルチタスクモデルは、ベースラインと比較して1フレーム（20ms）早く予測を生成しており、より高い自信や改善された時間的アライメントを示している。
• pretraining単体でも性能向上が見られたが、階層的マルチタスク学習と組み合わせることで最も優れた結果が得られ、相乗効果が確認された。
• 定性的な分析から、マルチタスクモデルのアライメントは、特に複雑な発話において、ベースラインと比較して正解の語区切りとより一貫していることがわかった。