[論文レビュー] Integration of Pre-trained Networks with Continuous Token Interface for End-to-End Spoken Language Understanding

Seunghyun Seo, Donghyun Kwak+1 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling被引用数 5

ひとこと要約

本稿では、共有語彙と連続確率分布を活用することで、事前学習済みASRとNLUネットワークをエンドツーエンドで統合する新規手法、Continuous Token Interface (CTI) を提案する。CTIは、Gumbel-Softmaxなどの追加モジュールを必要とせず、ASR出力をNLUモデルに直接微分可能に統合可能であり、SLURPで最先端の結果を達成した：意図分類82.93%、SLU-F1 71.12%。合成データを用いることで、さらに86.92%と74.66%に向上した。

ABSTRACT

Most End-to-End (E2E) SLU networks leverage the pre-trained ASR networks but still lack the capability to understand the semantics of utterances, crucial for the SLU task. To solve this, recently proposed studies use pre-trained NLU networks. However, it is not trivial to fully utilize both pre-trained networks; many solutions were proposed, such as Knowledge Distillation, cross-modal shared embedding, and network integration with Interface. We propose a simple and robust integration method for the E2E SLU network with novel Interface, Continuous Token Interface (CTI), the junctional representation of the ASR and NLU networks when both networks are pre-trained with the same vocabulary. Because the only difference is the noise level, we directly feed the ASR network's output to the NLU network. Thus, we can train our SLU network in an E2E manner without additional modules, such as Gumbel-Softmax. We evaluate our model using SLURP, a challenging SLU dataset and achieve state-of-the-art scores on both intent classification and slot filling tasks. We also verify the NLU network, pre-trained with Masked Language Model, can utilize a noisy textual representation of CTI. Moreover, we show our model can be trained with multi-task learning from heterogeneous data even after integration with CTI.

研究の動機と目的

• エンドツーエンドスプoken言語理解（E2E SLU）システムにおいて、事前学習済みASRモデルのみに依存する場合に生じる意味理解のギャップを解消すること。
• 知識蒸留、共有埋め込み、離散インターフェースなどの既存統合手法の制限を克服すること。これらは、事前学習済み表現を劣化させるか、複雑なモジュールを必要とする。
• 共有語彙のおかげで最小限の表現ギャップを実現する新規インターフェースを用いて、事前学習済みASRとNLUネットワークを直接、微分可能に統合すること。
• 意図分類とスロットフィルティングの両方において、挑戦的なSLURPベンチマークで最先端の性能を達成すること。

提案手法

• 事前学習済みASRとNLUネットワークを同じ語彙で学習させることで得られる中間表現であるContinuous Token Interface (CTI) を提案。これにより、ASRの出力をNLUモデルに直接転送可能となる。
• ASRネットワークのソフトマックス確率分布を、NLUモデルのノイズのあるテキスト表現として扱い、連続的かつ微分可能な入力として扱う。
• 共有語彙のおかげで表現ギャップが最小限に抑えられるため、離散トークン化や微分可能近似技術（例：Gumbel-Softmax）の必要がなくなり、実装が簡素化される。
• ASR損失、SLU損失（意図とスロット）、NLU事前学習損失のマルチタスク損失を用いて、エンドツーエンドで全モデルを訓練する。
• NLUモデルをテキストのみのデータで独立して事前学習可能であり、言語的容量を保持できる。
• SLURP-Synthデータ（音声とテキスト、ラベルがペアになった合成データ）を活用することで、モデルの頑健性と性能をさらに向上させる。

(a)

実験結果

リサーチクエスチョン

• RQ1 Gumbel-Softmaxなどの追加モジュールを必要とせず、連続的かつ微分可能なインターフェースを設計することで、事前学習済みASRとNLUネットワークを統合できるか？
• RQ2 ノイズを含むASR出力が入力された際、提案されたCTIインターフェースが、事前学習済みNLUモデルの意味的容量を保持できるか？
• RQ3 知識蒸留、共有埋め込み、離散インターフェースなどの既存手法と比較して、CTIインターフェースは性能と学習安定性の点で優れているか？
• RQ4 テキストのみの事前学習と音声データの統合により、低リソースSLUタスクにおける一般化性能と性能が向上するか？
• RQ5 SLURP-Synthのような合成データを用いることで、E2E SLUモデルの頑健性と正確性がどの程度向上するか？

主な発見

• 提案されたCTIベースのE2E SLUモデルは、SLURPデータセットで意図分類精度82.93%、SLU-F1スコア71.12%という最先端の性能を達成した。
• NLU事前学習損失（L_NLU）を追加することで、意図分類精度が0.54%、SLU-F1が0.51%向上した。これは、CTIがNLUモデルの事前学習済み言語的容量を保持していることを確認した。
• テキストのみのファインチューニングを用いたSLURP-Synthデータの利用により、ベースラインと比較して意図正答率が2.5ポイント向上した。
• 音声、テキスト、ラベルを含むSLURP-Synthデータで全モデルを訓練した場合、意図正答率は86.92%、SLU-F1は74.66%に上昇し、新たな最先端性能を樹立した。
• 同じ条件下で、Gumbel-Softmaxベースのインターフェースと比較して、CTIインターフェースは意図分類で0.83%、SLU-F1で0.57%高い性能を示した。
• アブレーションスタディにより、NLUモデルがCTIを介してノイズを含む連続的ASR出力を効果的に活用できることを確認し、インターフェース設計の頑健性を裏付けた。

(b)