[論文レビュー] Production Ready Chatbots: Generate if not Retrieve

Aniruddha Tammewar, Monik Pamecha+3 more|arXiv (Cornell University)|Nov 1, 2017

Topic Modeling被引用数 8

ひとこと要約

本論文では、スケジューリングのリマインダーをリアルワールドの応用で改善するために、ニューラル対話モデルとルールベースのグラフ対話システムを組み合わせたハイブリッドチャットボットシステムを提案する。グラフシステムの高い精度とニューラル応答生成の生成的柔軟性を活用することで、ハイブリッドモデルは、特にドメイン制限付きの複雑なクエリに対して、ルールベースのベースラインよりも高いリCALLと耐障害性を達成する。

ABSTRACT

In this paper, we present a hybrid model that combines a neural conversational model and a rule-based graph dialogue system that assists users in scheduling reminders through a chat conversation. The graph based system has high precision and provides a grammatically accurate response but has a low recall. The neural conversation model can cater to a variety of requests, as it generates the responses word by word as opposed to using canned responses. The hybrid system shows significant improvements over the existing baseline system of rule based approach and caters to complex queries with a domain-restricted neural model. Restricting the conversation topic and combination of graph based retrieval system with a neural generative model makes the final system robust enough for a real world application.

研究の動機と目的

• スケジューリングタスクの多様なユーザークエリを処理する際のルールベースシステムの限界を克服すること。
• 文法的正しさと正確性を維持しながら、対話システムにおけるリCALLを向上させること。
• 複雑でドメイン特化したクエリを効果的に処理できるプロダクション運用可能なチャットボットを開発すること。
• ニューラル生成と構造的リtrievalの統合により、リアルワールド応用における耐障害性を向上させること。

提案手法

• スケジューリングタスクの高精度で文法的に正しい応答を保証するために、ルールベースのグラフ対話システムが使用される。
• ドメイン制限付きのニューラル対話モデルが単語単位で応答を生成することで、多様なユーザー入力に対応する柔軟性が得られる。
• ハイブリッドアーキテクチャは、グラフシステムの正確性とニューラルモデルの生成的機能を組み合わせ、複雑なクエリを処理できる。
• トレーニング効率と応答の信頼性を向上させるために、会話のドメインを制限する。
• ニューラルモデルはドメイン特化されたデータセット上でトレーニングされ、文脈的に適切な応答を生成する。
• 2つのコンponentsは、ニューラルモデルがオープンエンドのクエリを処理し、グラフシステムが構造化されたタスクでの正しさを保証するように統合される。

実験結果

リサーチクエスチョン

• RQ1 ニューラル生成とルールベースのリtrievalを組み合わせたハイブリッドシステムは、スケジューリングチャットボットのパフォーマンスを向上させることができるか？
• RQ2 生成モデルの統合は、応答品質を損なわずにリCALLをどのように向上させるか？
• RQ3 ドメイン制限は、ニューラル対話モデルの耐障害性と信頼性をどの程度向上させるか？
• RQ4 このようなハイブリッドシステムは、純粋なルールベースまたは純粋なニューラルベースラインをリアルワールドでの運用で上回ることができるか？

主な発見

• ハイブリッドシステムは、複雑で多様なユーザークエリを処理する際、ベースラインのルールベースシステムを顕著に上回る。
• ニューラル生成の統合により、ルールベースコンponentの文法的正確性と正確性を維持しながらリCALLが向上する。
• ドメイン制限付きのニューラルモデルは、高い信頼性でスケジューリングタスクの応答生成を効果的に行うことができる。
• リtrievalベースの正確性と生成的柔軟性の組み合わせにより、リアルワールド応用に適した耐障害性の高いシステムが実現される。