[論文レビュー] Resolving Intent Ambiguities by Retrieving Discriminative Clarifying Questions

Kaustubh Dhole|arXiv (Cornell University)|Aug 17, 2020

Speech and dialogue systems被引用数 5

ひとこと要約

本稿では、文単位の質問生成モデルと類似度ベースの選択メカニズムを用いて、タスク指向対話システムにおける意図の曖昧さを解消するためのルールベース手法を提案する。この手法は、アノテート済みの明確化データを必要とせず、F1スコアを3–4%向上させることで、意図の分類精度を向上させ、直接的一対一の意図マッピングに依存することを減らし、より自然でインタラクティブなユーザー相互作用を実現する。

ABSTRACT

Task oriented Dialogue Systems generally employ intent detection systems in order to map user queries to a set of pre-defined intents. However, user queries appearing in natural language can be easily ambiguous and hence such a direct mapping might not be straightforward harming intent detection and eventually the overall performance of a dialogue system. Moreover, acquiring domain-specific clarification questions is costly. In order to disambiguate queries which are ambiguous between two intents, we propose a novel method of generating discriminative questions using a simple rule based system which can take advantage of any question generation system without requiring annotated data of clarification questions. Our approach aims at discrimination between two intents but can be easily extended to clarification over multiple intents. Seeking clarification from the user to classify user intents not only helps understand the user intent effectively, but also reduces the roboticity of the conversation and makes the interaction considerably natural.

研究の動機と目的

• ユーザーのクエリが事前に定義された意図に直接マッピングできないタスク指向対話システムにおける意図の曖昧さを解決すること。
• ドメイン固有の明確化質問の手作業作成コストを削減するために、それらの自動生成を可能にすること。
• ユーザーの対話によってトップ1分類問題をトップk問題に変換することで、意図分類の正確性を向上させること。
• 一貫した意図マッチングではなく、インタラクティブな明確化を組み込むことで、会話の自然さを向上させること。
• 既存の意図分類器から明確化生成を分離することで、生産環境への容易なデプロイを可能にすること。

提案手法

• 曖昧なクエリのトップ2の意図確率を予測するため、BiLSTMと線形SVM分類器を訓練する。
• 信頼度スコアを用いたしきい値ベースの曖昧さ検出メカニズムを導入し、曖昧なケースを特定する。
• トップ2の予測意図間の信頼度の分離を向上させ、誤検出を低減するためにソフトマックスキャリブレーションを適用する。
• 既存の文から質問への生成モデル（QG）を用いて候補となる明確化質問を生成する。
• 曖昧なクエリと各候補質問との間の文の類似度測定値を用いて、最も判別性の高い質問を選択する。
• QGのカバレッジが不足している場合、特に一般的な動詞や低カバレッジのフレーズに対しては、ルールベースのテンプレートシステムを用いて質問を最適化する。

実験結果

リサーチクエスチョン

• RQ1 アノテート済みの明確化データを必要としないルールベースシステムは、効果的に判別性の高い明確化質問を生成できるか？
• RQ2 明確化質問の生成は、曖昧なケースにおける意図分類パフォーマンスをどの程度向上させるか？
• RQ3 信頼度キャリブレーションは、意図分類における曖昧さ検出の信頼性にどのように影響するか？
• RQ4 QGとテンプレートベース手法を組み合わせることで、生成された明確化質問のカバレッジと品質にどのような影響があるか？
• RQ5 提案手法は、統合のオーバーヘッドを最小限に抑えて生産環境システムにデプロイ可能か？

主な発見

• ソフトマックスキャリブレーションにより、トップ2の予測意図間の信頼度の分離が顕著に向上し、曖昧さ検出における誤検出が低減した。
• 明確化に基づく曖昧さ解消を可能にすることで、BiLSTMではF1スコアが約4%、線形SVMでは3%向上した。
• MTurkによる評価では、生成された質問の文法的妥当性スコアは3.84、関連性スコアは4.17（5段階スケール）であり、SynQGベンチマークの性能に近い水準に達した。
• QGベースの質問生成のみでは、共通動詞が欠落しているか質問ペアが不十分なため、カバレッジがたった34%にとどまり、テンプレート補完の必要性が浮き彫りになった。
• 既存の意図分類器と分離された明確化ロジックにより、生産環境システムへのデプロイが可能である。