[論文レビュー] Automatic Data Expansion for Customer-care Spoken Language Understanding

Shahab Jalalvand, Andrej Ljolje+1 more|arXiv (Cornell University)|Sep 27, 2018

Speech Recognition and Synthesis参考文献 14被引用数 5

ひとこと要約

本論文は、顧客対応用スプoken言語理解（SLU）のためのn-gramベースの自動的データ拡張手法を提案する。この手法は、事前学習済みNLUモデルを用いて各意図ごとに情報量の多いn-gramを特定し、そのn-gramを基に外部データ（OOD）を関連するものとして選別することで、より優れた言語モデル（LM）およびNLUモデルの訓練を可能にする。このアプローチにより、ベースラインモデルと比較して分類誤り率（CER）が30%低減され、TF-IDF、埋め込み（embedding）、半教師あり学習手法を上回る性能を発揮する。

ABSTRACT

Spoken language understanding (SLU) systems are widely used in handling of customer-care calls.A traditional SLU system consists of an acoustic model (AM) and a language model (LM) that areused to decode the utterance and a natural language understanding (NLU) model that predicts theintent. While AM can be shared across different domains, LM and NLU models need to be trainedspecifically for every new task. However, preparing enough data to train these models is prohibitivelyexpensive. In this paper, we introduce an efficient method to expand the limited in-domain data. Theprocess starts with training a preliminary NLU model based on logistic regression on the in-domaindata. Since the features are based onn= 1,2-grams, we can detect the most informative n-gramsfor each intent class. Using these n-grams, we find the samples in the out-of-domain corpus that1) contain the desired n-gram and/or 2) have similar intent label. The ones which meet the firstconstraint are used to train a new LM model and the ones that meet both constraints are used to train anew NLU model. Our results on two divergent experimental setups show that the proposed approachreduces by 30% the absolute classification error rate (CER) comparing to the preliminary modelsand it significantly outperforms the traditional data expansion algorithms such as the ones based onsemi-supervised learning, TF-IDF and embedding vectors.

研究の動機と目的

• 顧客対応アプリケーションにおけるSLUシステムのドメイン内トレーニングデータが限られているという課題に対処すること。
• ドメイン内データが少量しかない状況でも、言語モデル（LM）およびNLUモデルの性能を向上させること。
• 事前学習済みNLUモデルから得られる情報量の多いn-gramを活用し、関連する外部データ（OOD）を選別するデータ拡張技術を開発すること。
• 限られたデータにおけるSLUシナリオにおいて、従来のデータ拡張手法（TF-IDF、単語埋め込み、半教師あり学習）を上回ること。

提案手法

• n-gram（n=1,2）特徴量を用いたロジスティック回帰を用いてドメイン内データ上で事前NLUモデルを訓練する。
• 訓練済みNLUモデルの特徴量重みを分析することで、各意図ごとに最も情報量の多いn-gramを抽出する。
• 目的のn-gramを含むOODサンプルを選別し、言語モデル（LM）を再訓練する。
• 目的のn-gramと意図ラベルの両方に一致するOODサンプルを選別し、NLUモデルを再訓練する。
• 選別されたOODデータを用いてLMおよびNLUモデルをファインチューニングし、新しいSLUタスクにおける汎化性能を向上させる。
• 限られたドメイン内データを用いた2つの多様なSLUタスクにおいて、分類誤り率（CER）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前NLUモデルから得られるn-gram特徴量が、SLUモデルの訓練に適した外部データ（OOD）の選別を効果的に導けるか？
• RQ2 n-gramベースのデータ拡張は、TF-IDFおよび埋め込みベースの手法と比較して、CER低減の観点でどの程度優れているか？
• RQ3 ドメイン内データが不足している状況（例：1意図あたり10サンプル）において、データ拡張が性能向上にどの程度寄与するか？
• RQ4 OODコーパスに存在しない未学習の意図ラベルを含むタスクにおいて、本手法はどの程度の性能を発揮するか？

主な発見

• 提案手法のn-gramベースのデータ拡張により、ドメイン内データのみで訓練されたベースラインモデルと比較して、分類誤り率（CER）が30%低減された。
• タスクAでは、48,000件の選別済みOOD発話文を用いてCERが44.21%にまで低下し、ベースラインの汎用LMおよびドメイン内NLUモデル（CER 71.28%）を著しく上回った。
• 本手法は、OODコーパスから3,030個の固有語を抽出したが、これはTF-IDF（2,169語）および埋め込みベース手法（2,572語）よりも高いデータ多様性を示している。
• ドメイン内データが1意図あたりたった10サンプルでも、CERの改善が顕著に見られ、ドメイン内データ量が150サンプルに増加しても性能差は依然として顕著に保たれた。
• 未学習の意図ラベルに対しても、本手法は文字列マッチングにより類似する意図ラベルを同定でき、データ拡張により性能向上を達成した。