[論文レビュー] Evaluating Quality of Chatbots and Intelligent Conversational Agents

Nicole Radziwill, Morgan C. Benton|arXiv (Cornell University)|Apr 15, 2017

AI in Service Interactions参考文献 23被引用数 184

ひとこと要約

本稿はチャットボットの品質問題と属性を調査し、品質評価アプローチをレビューし、チャットボット品質を評価するための Analytic Hierarchy Process–based method を提案する。

ABSTRACT

Chatbots are one class of intelligent, conversational software agents activated by natural language input (which can be in the form of text, voice, or both). They provide conversational output in response, and if commanded, can sometimes also execute tasks. Although chatbot technologies have existed since the 1960s and have influenced user interface development in games since the early 1980s, chatbots are now easier to train and implement. This is due to plentiful open source code, widely available development platforms, and implementation options via Software as a Service (SaaS). In addition to enhancing customer experiences and supporting learning, chatbots can also be used to engineer social harm - that is, to spread rumors and misinformation, or attack people for posting their thoughts and opinions online. This paper presents a literature review of quality issues and attributes as they relate to the contemporary issue of chatbot development and implementation. Finally, quality assessment approaches are reviewed, and a quality assessment method based on these attributes and the Analytic Hierarchy Process (AHP) is proposed and examined.

研究の動機と目的

• 現代のチャットボットおよび対話型エージェントに関連する品質問題と属性を特定し、分類する。
• チャットボットのための既存の品質評価アプローチとフレームワークをレビューする。
• 特定された属性と Analytic Hierarchy Process (AHP) に基づく品質評価手法を提案し、予備的に検討する。

提案手法

• チャットボット研究における品質問題と属性の文献調査を実施する。
• 先行研究から品質属性と評価実践を統合する。
• 特定された属性と Analytic Hierarchy Process (AHP) に根ざした提案された品質評価手法を開発する。
• チャットボットの品質評価の文脈で提案手法の検討を提供する。

実験結果

リサーチクエスチョン

• RQ1 現代のチャットボットおよび知能的対話エージェントに関連する品質問題と属性は何か？
• RQ2 チャットボットを評価するための品質評価アプローチにはどのようなものがあり、それらはどれだけ有効か？
• RQ3 特定された属性に基づいて、AHPベースの手法をどのように用いてチャットボットの品質を評価できるか？
• RQ4 提案手法の予備的検討は、品質評価への有用性について何を示唆しているか？

主な発見

• 文献調査は、チャットボットの開発および導入に関連する特定の品質問題と属性を特定している。
• チャットボットのさまざまな品質評価アプローチがレビューされ、要約されている。
• 特定された属性と Analytic Hierarchy Process (AHP) に基づく品質評価手法が提案され、検討されている。
• 本研究は品質属性を対話エージェントの実用的な評価戦略に結びつけている。