[論文レビュー] Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding

Di Wu, Yiren Chen+2 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 26被引用数 4

ひとこと要約

本稿では、クリーンデータの学習と現実世界のノイズあり推論のギャップを埋めるために、ドメイン適応に基づくRoSLUを提案する。クリーンなサンプルとノイズありサンプルを統合されたベクトル空間に統合し、誤りを是正するためのノイズ除去生成器を用いる。Snipsデータセットにおいてノイズあり推論下でベースライン比+3.8 F1ポイントのSOTA性能を達成した。

ABSTRACT

Spoken language understanding (SLU) system usually consists of various pipeline components, where each component heavily relies on the results of its upstream ones. For example, Intent detection (ID), and slot filling (SF) require its upstream automatic speech recognition (ASR) to transform the voice into text. In this case, the upstream perturbations, e.g. ASR errors, environmental noise and careless user speaking, will propagate to the ID and SF models, thus deteriorating the system performance. Therefore, the well-performing SF and ID models are expected to be noise resistant to some extent. However, existing models are trained on clean data, which causes a extit{gap between clean data training and real-world inference.} To bridge the gap, we propose a method from the perspective of domain adaptation, by which both high- and low-quality samples are embedding into similar vector space. Meanwhile, we design a denoising generation model to reduce the impact of the low-quality samples. Experiments on the widely-used dataset, i.e. Snips, and large scale in-house dataset (10 million training examples) demonstrate that this method not only outperforms the baseline models on real-world (noisy) corpus but also enhances the robustness, that is, it produces high-quality results under a noisy environment. The source code will be released.

研究の動機と目的

• 産業的SLUシステムにおけるクリーンデータ学習と現実世界のノイズあり推論の分布ギャップを解消すること。
• ASRエラー、環境ノイズ、不注意な発話といった現実世界の摂動に対してモデルのロバスト性を向上させること。
• 従来のモデルが対応できないが現実世界の入力で一般的なスロット内エラーを、スロットフィルティングモデルが是正できることを可能にすること。
• クリーンデータ上で高い性能を維持しつつ、ノイズありデータ上で顕著に性能を向上させる手法を開発すること。
• ドメイン適応とノイズ除去生成が現実世界推論ギャップを埋める有効性を実証すること。

提案手法

• 本手法はドメイン適応を用いて、高品質なクリーンサンプルと低品質なノイズありサンプルを、類似した共有ベクトル空間へマッピングする。
• ノイズあり入力シーケンスから正しいスロットラベルを再構築するノイズ除去生成モデルを訓練し、入力摂動に対するロバスト性を向上させる。
• エンドツーエンドでクリーンデータと合成ノイズありデータの組み合わせを用いて学習することで、現実世界のノイズあり入力に一般化可能となる。
• 分布シフト下での一般化を向上させるために、敵対的訓練の原則を用いてモデルを正則化する。
• クリーンデータ上の性能を維持しつつ、ノイズありテストセットでのロバスト性を顕著に向上させるようにフレームワークを設計する。
• 意味的に類似したがノイズありのスロットスパン（例：'rock stones' が 'the Rolling Stones' の意図）を正しい形にマッピングできる能力により、スロット内エラー是正が可能になる。

実験結果

リサーチクエスチョン

• RQ1 クリーンデータとノイズありデータの両方で学習したモデルは、クリーンデータ上の性能を損なわせることなく、現実世界のSLU推論においてより高いロバスト性を達成できるか？
• RQ2 ノイズ除去生成器は、ASRエラーや発話のばらつきによって生じるスロット内エラーをどの程度是正できるか？
• RQ3 クリーンサンプルとノイズありサンプルの間のドメイン適応は、SLUシステムにおける分布ギャップを効果的に埋め合わせるか？
• RQ4 F1スコアの観点から、本手法は強力なベースラインと比較して、ノイズありおよびクリーンテストセットでどの程度優れているか？
• RQ5 本手法は、数百万例の例と複雑なノイズパターンを持つ大規模産業データセットにも一般化可能か？

主な発見

• Snipsデータセットにおいて、RoSLUはノイズあり推論下で最良のベースラインを+3.8 F1ポイント上回り、顕著なロバスト性を示した。
• 1000万例のトレーニング例を持つ社内データセットにおいて、グローバル（ノイズあり）学習下でもベースライン比+0.64 F1ポイントの向上を達成したが、ベースラインのスコアは既に高い水準であった。
• クリーン推論においてもSOTAモデルと同等の性能を維持し、SnipsではF1スコア91.24、社内データでは96.01を達成した。
• 手動評価により、サンプルされた177件のスロット内エラーのうち59件が正常に是正されたことが確認され、モデルの現実世界ノイズ対処能力が裏付けられた。
• ノイズありデータを学習に含めることによる性能向上は、Snipsのような小規模データセットでは顕著であり、ノイズが正則化として機能することが示された。
• 結果から、ドメイン適応とノイズ除去生成が共同で一般化性能を向上させ、特にノイズあり現実世界シナリオにおいて顕著な効果を示すことが明らかになった。