[論文レビュー] An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction

Stefan Larson, Anish Mahendran+9 more|arXiv (Cornell University)|Sep 4, 2019

Topic Modeling被引用数 4

ひとこと要約

本論文は、150の範囲内意図と1,200件の範囲外クエリを含む23,700件のクエリを有する新しい評価データセットを紹介し、タスク指向対話システムにおける意図分類と範囲外検出を評価することを目的としている。高い範囲内性能（BERTでは96％の正答率）を示す一方で、すべてのモデルが範囲外検出において困難を示しており、最高のシステムでも66％の再現率にとどまり、現在のNLPベンチマークにおける顕著なギャップを示している。

ABSTRACT

Task-oriented dialog systems need to know when a query falls outside their range of supported intents, but current text classification corpora only define label sets that cover every example. We introduce a new dataset that includes queries that are out-of-scope---i.e., queries that do not fall into any of the system's supported intents. This poses a new challenge because models cannot assume that every query at inference time belongs to a system-supported intent class. Our dataset also covers 150 intent classes over 10 domains, capturing the breadth that a production task-oriented agent must handle. We evaluate a range of benchmark classifiers on our dataset along with several different out-of-scope identification schemes. We find that while the classifiers perform well on in-scope intent classification, they struggle to identify out-of-scope queries. Our dataset and evaluation fill an important gap in the field, offering a way of more rigorously and realistically benchmarking text classification in task-driven dialog systems.

研究の動機と目的

• タスク指向対話システムにおける範囲外クエリ検出のための現実的でない評価の欠如に対処すること。
• 現実のユーザー行動を反映する、範囲内および範囲外の両方のクエリを含む大規模かつ多様なデータセットを構築すること。
• 曖昧で話題外のクエリも含む、現実的なベンチマークにおいて既存の分類器および範囲外検出手法を評価すること。
• BERTのような最先端モデルですら、範囲内正答率は高いものの、範囲外検出では著しく性能を発揮しないことを示すこと。
• 対話システムの耐障害性をより厳密かつ現実的に評価できるようにするため、標準化され、公開可能なデータセットを提供すること。

提案手法

• 10のドメインにおける150の意図クラスにわたる22,500件の範囲内クエリを、スコープ指定、再表現、シナリオベースのタスクを用いたクラウドソーシングにより収集した。
• システムの対応能力を超える現実的なユーザー入力を反映するため、追加で1,200件の範囲外クエリを収集した。
• バーチャルアシスタントとの実際のユーザーインタラクションに類似した、短く非構造的で自然言語のクエリを含む。
• さまざまなベンチマーク分類器（例：FastText、SVM、CNN、MLP、BERT）を用いて、範囲内意図分類と範囲外検出の両方を評価した。
• 範囲外検出は二値分類（範囲内対範囲外）として評価し、データ拡張とクラスバランスのアブレーションスタディを実施した。
• 本データセットはhttps://github.com/clinc/oos-evalにて公開され、再現性のある研究および今後のベンチマークに貢献する。

実験結果

リサーチクエスチョン

• RQ1 本研究で新たに作成したデータセットで学習した場合、最先端の分類器は範囲内意図分類でどの程度の性能を示すか？
• RQ2 既存のモデルは、範囲内クエリとスタイルやトピックが類似した範囲外クエリをどの程度検出できるか？
• RQ3 範囲外クエリの訓練データが利用可能であると、モデルの範囲外検出性能にどのような影響を与えるか？
• RQ4 異なるモデルアーキテクチャーやデータ拡張戦略において、範囲外検出性能はどのように変化するか？
• RQ5 既存のベンチマークデータセットは、実世界の対話システムにおける範囲外対処の評価を十分にサポートできるか？

主な発見

• BERTは、低データ設定やクラス不均衡状況下でも96％を超える範囲内意図分類正答率を達成し、最高の性能を示した。
• すべてのモデルが範囲外検出において顕著な性能低下を示し、最高のシステムでも範囲外クラスの再現率はたった66％にとどまった。
• 範囲外訓練例の数を増やすことで検出性能は向上したが、その向上は限定的であり、分布外一般化に対するモデルの本質的な困難さを示している。
• Wikipediaの文を用いたデータ拡張は一部のモデルにおいて範囲外検出を改善したが、計算制約のため他のモデルには非現実的であった。
• 本データセットは、現実世界の対話システムにおいて一般的で、システムの耐障害性にとって重要な範囲外クエリの課題を、現在のベンチマークが捉えていないことを明らかにした。
• 本研究は、現在のNLP評価における顕著なギャップを示している：モデルは既知のクラスでは優れた性能を発揮するが、意味的およびスタイル的に範囲内クエリに類似した未学習の範囲外入力では失敗する。