[論文レビュー] Out-of-domain Detection for Natural Language Understanding in Dialog Systems

Yinhe Zheng, Guanyi Chen+1 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 47被引用数 8

ひとこと要約

本論文は、自己符号化器、敵対的訓練、および補助分類器を用いて高品質で現実的なOOD発話文を生成することにより、NLUにおけるオーバーラップ外検出を向上させる、新しい擬似OODサンプル生成モデル（POG）を提案する。この手法は、合成OODデータによる効果的な正則化を通じてモデルの性能を向上させ、手動でラベル付けされたOOD例に依存せずに最先端の結果を達成する。

ABSTRACT

Natural Language Understanding (NLU) is a vital component of dialogue systems, and its ability to detect Out-of-Domain (OOD) inputs is critical in practical applications, since the acceptance of the OOD input that is unsupported by the current system may lead to catastrophic failure. However, most existing OOD detection methods rely heavily on manually labeled OOD samples and cannot take full advantage of unlabeled data. This limits the feasibility of these models in practical applications. In this paper, we propose a novel model to generate high-quality pseudo OOD samples that are akin to IN-Domain (IND) input utterances, and thereby improves the performance of OOD detection. To this end, an autoencoder is trained to map an input utterance into a latent code. and the codes of IND and OOD samples are trained to be indistinguishable by utilizing a generative adversarial network. To provide more supervision signals, an auxiliary classifier is introduced to regularize the generated OOD samples to have indistinguishable intent labels. Experiments show that these pseudo OOD samples generated by our model can be used to effectively improve OOD detection in NLU. Besides, we also demonstrate that the effectiveness of these pseudo OOD data can be further improved by efficiently utilizing unlabeled data.

研究の動機と目的

• NLUシステムにおけるラベル付きOODデータの不足という課題に対処すること。これは、効果的なOOD検出を妨げる。
• インドメイン（IND）入力と類似した意味的・構造的性質を持つが、意図が曖昧な、高品質で現実的なOOD発話文を生成する手法を開発すること。
• 実世界のシステムで一般的に入手可能な未ラベルデータを活用し、生成されたOODサンプルの質と有効性をさらに向上させること。
• 合成OODデータを用いたエントロピー正則化の最適化により、オープンワールド仮定下でのNLUモデルの一般化性能を向上させること。

提案手法

• 入力発話文を潜在コードにマッピングし、再構築する自己符号化器を訓練し、意味的および構造的性質を保持する。
• 生成的敵対的ネットワーク（GAN）を用いて、OODおよびINDサンプルの潜在コードを区別できなくする。これにより、生成されたOODサンプルが実際のIND入力に類似するよう保証される。
• 補助分類器を導入し、生成されたOODサンプルが意図ラベルが曖昧または区別不能になるように正則化することで、OOD検出に有用な性質を向上させる。
• 再構築損失、敵対的損失、およびエントロピー正則化（ER）を組み合わせて、エンドツーエンドに訓練することで、OOD検出を最適化する。
• 自己符号化器の事前学習中に未ラベルデータを統合することで、サンプル品質をさらに向上させるAEPOG（自己符号化器ベースの擬似OOD生成）に手法を拡張する。
• 生成された擬似OODサンプルを用いて、エントロピー正則化を適用したNLUモデルを訓練し、真のOOD入力を検出する能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 離散的テキスト空間で、インドメイン入力と意味的に類似しているが意図が曖昧な高品質で現実的なOOD発話文を生成できるか？
• RQ2 実際のOODデータで訓練されたモデルと比較して、生成された擬似OODサンプルはOOD検出性能をどの程度向上させるか？
• RQ3 実世界の展開で得られる未ラベルデータを、生成されたOODサンプルの質および検出性能の向上に効果的に活用できるか？
• RQ4 INDおよびOOD分布間の潜在コードに対する敵対的訓練は、OOD検出のための特徴空間における分離性を向上させるか？
• RQ5 生成サンプルの意図ラベルに対する補助監視は、OOD検出のロバストネスを向上させるか？

主な発見

• 提案されたPOGモデルは、文法的に正しいかつインドメイン発話文と意味的に類似した擬似OODサンプルを生成し、訓練に有効であることが確認された。
• 生成された擬似OODサンプルの使用により、OSQなどのベンチマークデータセットで最先端のOOD検出性能が達成された。
• 自己符号化器の事前学習中に未ラベルデータを統合するAEPOGバージョンは、生成サンプルの質をさらに向上させ、検出性能を強化した。
• t-SNE可視化により、POGで生成されたサンプルを用いて訓練されたモデルは、INDおよびOOD入力の特徴表現がより明確に分離されていることが確認された。
• 補助分類器は、生成サンプルの意図の曖昧さを効果的に正則化し、それらが容易にINDと分類されないことを防いでいた。
• 高価な手動ラベル付きOODデータへの依存を減らしつつ、実際のOODデータで訓練されたモデルと同等またはそれを上回る性能を維持した。