[論文レビュー] Lingke: a Fine-grained Multi-turn Chatbot for Customer Service

Pengfei Zhu, Zhuosheng Zhang+3 more|arXiv (Cornell University)|Aug 1, 2018

Topic Modeling参考文献 18被引用数 25

ひとこと要約

Lingke は、製品紹介資料を活用して正確な応答を生成する、細分化されたリtrieval補強型のマルチターンチャットボットであり、カスタマーサービスを目的として設計されている。未構造化テキストからの回答の蒸留にパイプラインを採用し、注意メカニズムを用いた逐次的文脈-応答マッチングによりマルチターン対話性能を向上させ、複雑なやり取りにおける応答の関連性を顕著に向上させている。

ABSTRACT

Traditional chatbots usually need a mass of human dialogue data, especially when using supervised machine learning method. Though they can easily deal with single-turn question answering, for multi-turn the performance is usually unsatisfactory. In this paper, we present Lingke, an information retrieval augmented chatbot which is able to answer questions based on given product introduction document and deal with multi-turn conversations. We will introduce a fine-grained pipeline processing to distill responses based on unstructured documents, and attentive sequential context-response matching for multi-turn conversations.

研究の動機と目的

• 従来の教師ありチャットボットがマルチターンカスタマーサービス対話に対処する際の限界を解消すること。
• 大規模な人手による対話データセットへの依存を減らすために、未構造化製品ドキュメントを活用すること。
• ドキュメントに根ざした推論を通じて、マルチターン対話における応答の正確性と文脈的一致性を向上させること。
• 未構造化製品説明から正確な回答を抽出するための細分化されたパイプラインを開発すること。
• 複数ターンにわたる会話状態を維持するための注意メカニズムを用いた逐次的文脈-応答マッチング機構を導入すること。

提案手法

• 未構造化製品紹介資料から関連情報を抽出・蒸留するための細分化されたパイプラインを採用している。
• 情報検索技術を用いて関連するドキュメント断片を検索し、応答を文書に根ざしたものとする。
• 注意メカニズムを用いた逐次的文脈-応答マッチングモジュールにより、対話ターン間の長距離依存関係を捉えている。
• 自己注意メカニズムを用いて文脈表現を学習し、対話履歴と候補応答を一致させる。
• マルチタスク学習フレームワークを用いて、応答の関連性とドキュメントへの根拠を同時に最適化している。
• 逐次的文脈のエンコーディングと応答注意の動的更新により、マルチターン対話状態を維持している。

実験結果

リサーチクエスチョン

• RQ1 大規模な対話データセットに依存せずに、リtrieval補強型チャットボットがマルチターンカスタマーサービス対話で高い性能を達成できるか。
• RQ2 細分化されたパイプラインが、未構造化製品ドキュメントから正確な回答をどれほど効果的に抽出できるか。
• RQ3 注意メカニズムを用いた逐次的文脈-応答マッチングが、マルチターン対話における応答の一貫性をどの程度向上させるか。
• RQ4 ドキュメントへの根拠付けが、複雑なクエリにおける応答の正確性と関連性をどの程度向上させるか。

主な発見

• リtrieval補強型アーキテクチャにより、Lingke はアノテート済み対話データに依存せずに製品ドキュメントのみで正確な応答を生成できることを示した。
• 細分化されたパイプラインは、未構造化ドキュメントからの関連情報の蒸留に効果的であり、回答の正確性が向上した。
• 注意メカニズムを用いた逐次的文脈-応答マッチング機構により、複数ターンにわたる応答の一貫性が向上した。
• Lingke は、標準的な教師ありベースラインと比較して、マルチターンカスタマーサービスタスクにおいて優れた性能を示した。