[論文レビュー] Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model

Sibo Tong, Philip N. Garner+1 more|arXiv (Cornell University)|Nov 27, 2017

Speech Recognition and Synthesis参考文献 26被引用数 29

ひとこと要約

本稿では、普遍的なIPA音素セットを用いた多言語 CTCベース音声認識モデルを提案し、低リソース言語の音声認識を向上させる。言語に適応する訓練のためのLHUCと、多言語間適応時におけるドロップアウトを適用することで、21時間のデータすらも用いてDNN/HMMシステムと同等の性能を達成し、優れた汎化性能と新規音素への拡張性を示している。

ABSTRACT

Multilingual models for Automatic Speech Recognition (ASR) are attractive as they have been shown to benefit from more training data, and better lend themselves to adaptation to under-resourced languages. However, initialisation from monolingual context-dependent models leads to an explosion of context-dependent states. Connectionist Temporal Classification (CTC) is a potential solution to this as it performs well with monophone labels. We investigate multilingual CTC in the context of adaptation and regularisation techniques that have been shown to be beneficial in more conventional contexts. The multilingual model is trained to model a universal International Phonetic Alphabet (IPA)-based phone set using the CTC loss function. Learning Hidden Unit Contribution (LHUC) is investigated to perform language adaptive training. In addition, dropout during cross-lingual adaptation is also studied and tested in order to mitigate the overfitting problem. Experiments show that the performance of the universal phoneme-based CTC system can be improved by applying LHUC and it is extensible to new phonemes during cross-lingual adaptation. Updating all the parameters shows consistent improvement on limited data. Applying dropout during adaptation can further improve the system and achieve competitive performance with Deep Neural Network / Hidden Markov Model (DNN/HMM) systems on limited data.

研究の動機と目的

• 多言語データを活用することで、普遍的な音素ベースの CTC モデルを用いて低リソース音声認識を向上させること。
• 正則化技術を用いて、多言語間適応時の低データ状況における過学習を軽減すること。
• CTCベースのモデルが完全な再訓練なしに言語間で知識を効果的に転送できるかどうかを調査すること。
• LHUCおよびドロップアウトが多言語 CTC モデルの適応性能を向上させる有効性を評価すること。

提案手法

• 複数言語（例：英語、フランス語、ドイツ語、ポルトガル語）の統合データを用いて、普遍的なIPAベースの音素セットに基づく多言語 CTC モデルを訓練する。
• 学習隠れユニット寄与度（LHUC）を適用し、各言語ごとに隠れユニット寄与度をスケーリングすることで、モデルをターゲット言語に適応させる。
• 限定的なターゲット言語データ上で過学習を軽減するために、多言語間適応時にドロップアウトを用いる。
• 未学習の音素用に重みをランダム初期化し、出力層を拡張してから、全ネットワークを微調整する。
• 適応戦略を比較：出力層のみ更新、全パラメータを更新、および新規音素ヘッドを追加したネットワーク拡張。
• 単言語、多言語、適応済み CTC システムを用いて、限られたデータ（1〜21時間）での誤り率（WER）を評価する。

実験結果

リサーチクエスチョン

• RQ1 普遍的なIPA音素セットに基づく多言語 CTC モデルは、低リソース言語への多言語間適応のための事前知識として効果的に機能するか？
• RQ2 LHUCにより、多言語 CTC モデル内での隠れユニット寄与度を言語別にスケーリング可能となり、適応性能が向上するか？
• RQ3 適応時にドロップアウトを適用することで、限定的なターゲット言語データ上での過学習が軽減され、汎化性能が向上するか？
• RQ4 全ネットワークパラメータの更新と出力層の微調整のみの比較において、適応性能にどのような差が生じるか？
• RQ5 事前学習時に見られなかった新規音素へ、多言語 CTC モデルをどの程度まで拡張できるか？

主な発見

• 多言語 CTC モデルからの多言語間適応は、15時間未塔のデータでは、単言語 CTC 学習を著しく上回り、10時間のデータで誤り率（WER）が50％を超えていたのを12％未塔まで低下させた。
• 30音素をカバーする多言語モデル（ML-4）からの適応では、スペイン語データ10時間で11.2％のWERを達成したのに対し、23音素のみをカバーするモデル（ML-3）では11.3％であった。音素カバレッジの向上が適応性能に寄与していることが示された。
• ポルトガル語データ21時間で、適応時にドロップアウトを適用することで、WERが20.5％から19.0％に低下し、単言語 DNN/HMM ベースライン（19.5％）に近づいた。
• 全パラメータの更新が、出力層の微調整のみよりも一貫して優れた性能を示し、DNN/HMM システムとは異なり、共有隠れ層が完全に転送可能ではないことが示された。
• 多言語 CTC モデルは新規音素へ拡張可能である：未学習の音素用に重みをランダム初期化し、全ネットワークを微調整することで、さらなる性能向上が得られた。
• ドロップアウトを適応時に適用することで、21時間のデータのみで、DNN/HMM システムと同等の性能を達成した。これは、適切な適応手法を組み合わせることで、CTC が限られたデータでも効果的であることを示している。