[論文レビュー] Speech-language Pre-training for End-to-end Spoken Language Understanding

Yao Qian, Ximo Bian+5 more|arXiv (Cornell University)|Feb 11, 2021

Topic Modeling参考文献 23被引用数 9

ひとこと要約

本稿では、エンドツーエンドのスプoken言語理解（E2E SLU）を目的とした統合的音声言語事前学習（SLP）フレームワークを提案する。このフレームワークは、事前学習済みのASRエンコーダとBERTベースの言語モデルを1つのトランスフォーマー・デコーダに統合し、限定的なラベル付きデータを共同で微調整することで、条件付きマスク言語モデル化（MLM）の目的関数を用いる。その結果、従来手法よりもはるかに少ないペairedデータで、意図分類およびスロット抽出の分野で最先端の性能を達成した。

ABSTRACT

End-to-end (E2E) spoken language understanding (SLU) can infer semantics directly from speech signal without cascading an automatic speech recognizer (ASR) with a natural language understanding (NLU) module. However, paired utterance recordings and corresponding semantics may not always be available or sufficient to train an E2E SLU model in a real production environment. In this paper, we propose to unify a well-optimized E2E ASR encoder (speech) and a pre-trained language model encoder (language) into a transformer decoder. The unified speech-language pre-trained model (SLP) is continually enhanced on limited labeled data from a target domain by using a conditional masked language model (MLM) objective, and thus can effectively generate a sequence of intent, slot type, and slot value for given input speech in the inference. The experimental results on two public corpora show that our approach to E2E SLU is superior to the conventional cascaded method. It also outperforms the present state-of-the-art approaches to E2E SLU with much less paired data.

研究の動機と目的

• 実世界のエンドツーエンドスプoken言語理解（E2E SLU）システムにおいて、ラベル付き音声意味対が不足しているという課題に対処すること。
• 事前学習済みの音声および言語表現を活用することで、リソースが限られたSLU状況における汎化性能と性能を向上させること。
• 最適化が図られたASRおよびNLUエンコーダーを1つのデコーダアーキテクチャに統合し、共同最適化を可能とすること。
• 文脈的な音声埋め込みを用いて、スロット抽出を条件付きシーケンス・トゥ・シーケンス生成タスクとして定式化すること。
• 統合的事前学習と微調整を通じて、カスケード型システムを上回るE2E SLUの性能を、より少ないラベル付きデータで実証すること。

提案手法

• 事前学習済みのAEDベースのASRエンコーダ（音声）とBERTベースの言語モデルエンコーダ（言語）を、1つのトランスフォーマー・デコーダアーキテクチャに統合する。
• ペアド音声と発話文を用いて、条件付きマスク言語モデル化（MLM）の目的関数に基づき、統合モデルを継続的に事前学習する。
• 入力音声から意図、スロットタイプ、スロット値のシーケンスを生成するために、限定的なラベル付きデータ上でSLPモデルをエンドツーエンドで微調整する。
• 2段階訓練を用いる：まずASR発話文で事前学習し、次に意味ラベルで微調整（2段階）、またはASR＋SLUの両方のターゲットを一度に微調整（1段階）。
• ASRシステムの元来の言語モデルデコーダをBERTに置き換えることで、ASR仮説の品質を向上させ、その結果として下流のSLU性能が向上する。
• ASRエンコーダからの音声埋め込みとBERTからのテキスト埋め込みを統合的に用いて、統合フレームワーク内で意味表現を共同最適化する。

実験結果

リサーチクエスチョン

• RQ1 限定的なラベル付きデータで、統合的音声言語事前学習フレームワークがカスケード型ASR-NLUパイプラインを上回る性能を発揮できるか？
• RQ2 条件付きMLM目的関数を用いて音声および言語エンコーダーを共同で事前学習することで、意図分類およびスロット抽出の性能が向上するか？
• RQ3 提案手法が、既存のアプローチよりもはるかに少ないペアド学習データでE2E SLUの最先端の結果を達成できるか？
• RQ4 1段階微調整と2段階微調整の戦略が、リソースが限られたSLUデータセットにおける性能に与える影響はいかほどか？
• RQ5 事前学習済みの音声および言語モデルが、ASR誤り率をどの程度低減させ、下流の意味ラベル付けの正確性を向上させられるか？

主な発見

• 提案されたE2E SLPモデルは、FSCコーパスにおいて、テストされたすべての手法の中で最高の意図分類精度（99.13％）を達成し、カスケード型および従来のE2Eアプローチを上回った。
• ATISコーパスでは、微調整後、スロットF1スコアが90.12％に達し、ベースラインのカスケード型システム（84.13％）を顕著に上回った。
• FSCコーパスからランダムに選択された3,000件の学習サンプルのみを用いても、23,132件の全訓練セットを使用した場合とほぼ同等の性能を達成した。これは、極めて高いデータ効率性を示している。
• 事前学習済みSLPモデルにより、ATISデータセットではASR WERが14.82％から8.68％に、FSCデータセットでは2.82％から0.42％にまで低下し、顕著に発話文の品質が向上した。
• ATISコーパスでは、2段階訓練戦略（ASRで事前学習→SLUで微調整）が1段階微調整を上回った。これは、ASR＋SLU出力のターゲットシーケンスがより長いために、より良い性能が得られたと考えられる。
• モデルは優れた汎化性能と耐性を示し、最小限のラベル付きデータでFSCおよびATISデータセットの両方で最先端の結果を達成した。