[論文レビュー] Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages

Matthew Wiesner, Chunxi Liu+7 more|arXiv (Cornell University)|Feb 23, 2018

Speech Recognition and Synthesis参考文献 23被引用数 6

ひとこと要約

本論文は、ユニバーサルフォンマークモデルとトランスファー学習を用いて、ほぼゼロリソース言語向けの低リソース音声認識およびトピック分類システムを提示する。15〜30分程度の音声認識データを用いてユニバーサルASRシステムを適応させるとともに、最小限のネイティブスピーカーがアノテートしたデータで微調整された英語ベースのトピック分類器を活用することで、トピック同定に顕著な向上を達成した。NIST LoReHLT 2017の評価において、特にティグリーニア語（IL5）においてはSF-Type分類で54%のF1スコアを達成し、競合手法を上回った。

ABSTRACT

Automatic speech recognition (ASR) systems often need to be developed for extremely low-resource languages to serve end-uses such as audio content categorization and search. While universal phone recognition is natural to consider when no transcribed speech is available to train an ASR system in a language, adapting universal phone models using very small amounts (minutes rather than hours) of transcribed speech also needs to be studied, particularly with state-of-the-art DNN-based acoustic models. The DARPA LORELEI program provides a framework for such very-low-resource ASR studies, and provides an extrinsic metric for evaluating ASR performance in a humanitarian assistance, disaster relief setting. This paper presents our Kaldi-based systems for the program, which employ a universal phone modeling approach to ASR, and describes recipes for very rapid adaptation of this universal ASR system. The results we obtain significantly outperform results obtained by many competing approaches on the NIST LoReHLT 2017 Evaluation datasets.

研究の動機と目的

• トランスクリプトデータが数分程度の極めて低リソースな言語向けに、自動音声認識（ASR）システムを開発すること。
• 高リソース言語からのトランスファー学習を活用して、低リソース環境下でも正確なトピック同定（SF-Type検出）を可能にすること。
• ネイティブインフォーマントによる小規模なヒューマンインザループアノテーションの有効性を評価し、ASRおよびトピック分類器の性能向上に寄与するかを検証すること。
• 多言語データで学習した言語に依存しないトピック分類器が、最小限のターゲット言語アノテーションを組み合わせることで、言語特異的モデルを上回ることを示すこと。
• 人道的支援や災害対応などの緊急事態発生時における迅速な音声技術の展開フレームワークを確立すること。

提案手法

• ターゲット言語に音声認識データが存在しなくても、ユニバーサルフォンマークモデルを用いたKaldiベースのASRシステムを採用し、言語間音声モデルを構築する。
• ネイティブインフォーマント（NIs）から収集した15〜30分間の音声認識データを用いて、ユニバーサルASRモデルを微調整し、ASRの語誤り率（WER）を著しく改善する。
• 多言語データで事前学習した英語ベースのSF-Typeトピック分類器を、NIsが提供する少数のターゲット言語（IL）のトピックラベルで微調整する。
• ILから英語への機械翻訳（MT）を用いて、トピック分類器のための合成学習データを生成するが、十分なIL固有のラベルが得られる場合にはMTなしでも同等の性能を示す。
• Webベースのアノテーションインターフェースを活用し、NIsから効率的に音声トランスクリプトとSF-Typeラベルを収集することで、アノテーション時間の短縮とデータの有効性の最大化を実現する。
• 音声ユニット抽出（AUD）、非教師付き語彙抽出（UTD）、語彙レベルのトークン化を用いて、異なる自然言語処理表現におけるロバスト性を評価する言語に依存しない分類器を訓練する。

実験結果

リサーチクエスチョン

• RQ1 15〜30分間の音声認識データのみで、ユニバーサルフォンマークモデルに基づくASRシステムが低リソース言語に効果的に適応可能か？
• RQ2 ネイティブスピーカーから得た最小限のターゲット言語のトピックラベルで微調整された多言語英語ベースのSF-Type分類器は、どの程度有効か？
• RQ3 IL固有のSF-Typeラベルを含めることで、多言語トランスファーに依存する場合と比較して、トピック分類性能が顕著に向上するか？
• RQ4 ILから英語への機械翻訳の品質が、低リソース環境下でのトピック分類システムの性能にどの程度影響を及ぼすか？
• RQ5 ASRやMTに依存せず、最小限のヒューマンアノテートラベルのみで高いトピック分類性能を達成できるか？

主な発見

• 15〜30分間の音声認識データで微調整したユニバーサルフォンマークモデルベースのASRシステムは、関連言語のASRシステムと同等のWERを達成した。
• ティグリーニア語（IL5）では、SF-Type F1スコアがベースライン比で59%の相対的向上を示し、関連スコアは23%の相対的向上を達成した。これは顕著な適応効果を示している。
• オロモ語（IL6）では、WERの改善は同様であったが、性能向上は限定的であった。これは、機械翻訳品質が低く（BLEU-4 ≈ 0.16 vs. 0.09）、かつ適応データが少ないことが要因と考えられる。
• 3,000件の多言語ラベルで事前学習した英語ベースのSF-Type分類器は、ティグリーニア語でわずか159件のIL固有ラベルで学習した特定言語分類器と同等の性能を示した。
• 英語分類器の学習データにIL固有のSF-Typeラベルを追加することで、性能は一貫して向上した。159件のラベルで、6時間分のNIアノテーション時間に相当するASR適応（27分）と同等の結果が得られた。
• 収集したIL固有のSF-Typeラベル数が性能の主な決定要因であった。特に、より多くのラベルが収集されたオロモ語では、より良い結果が得られた。