[論文レビュー] Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys.

Ziang Xiao, Michelle X. Zhou+5 more|arXiv (Cornell University)|May 25, 2019

AI in Service Interactions参考文献 62被引用数 4

ひとこと要約

本論文では、自由記述応答を自然言語理解で解釈し、深掘りの洞察を得るために動的にプローブを発行するAIを活用したチャットボットを提案する。600名の参加者を対象とした現地調査において、従来のオンラインアンケートと比較して、チャットボットは参加者の関与度を著しく向上させ、関連性、深さ、読みやすさの観点で応答の質を向上させた。

ABSTRACT

The rise of increasingly more powerful chatbots offers a new way to collect information through conversational surveys, where a chatbot asks open-ended questions, interprets a user's free-text responses, and probes answers when needed. To investigate the effectiveness and limitations of such a chatbot in conducting surveys, we conducted a field study involving about 600 participants. In this study, half of the participants took a typical online survey on Qualtrics and the other half interacted with an AI-powered chatbot to complete a conversational survey. Our detailed analysis of over 5200 free-text responses revealed that the chatbot drove a significantly higher level of participant engagement and elicited significantly better quality responses in terms of relevance, depth, and readability. Based on our results, we discuss design implications for creating AI-powered chatbots to conduct effective surveys and beyond.

研究の動機と目的

• 従来のオンラインアンケートと比較して、AIを活用したチャットボットが対話型アンケートを実施する効果性を調査すること。
• 標準的なアンケートプラットフォームと比較して、チャットボットを使用した際の参加者の関与度と応答の質を評価すること。
• 自然言語インタラクションを通じて高品質で詳細な応答を引き出すことができるチャットボットの設計に向けたインサイトを同定すること。
• NLP駆動のチャットボットを実世界のアンケート文脈で使用する際の強みと限界を理解すること。

提案手法

• 約600名の参加者を対象とした現地調査を実施した。参加者の半数は標準的なQualtricsオンラインアンケートを使用し、残りの半数はAIを活用したチャットボットと対話した。
• チャットボットは自然言語処理を用いて自由記述応答を解釈し、内容と文脈に基づいて動的にフォローアップ質問を生成した。
• 対話型アンケートの設計により、自由記述応答が可能になり、適応的プローブによってより深い内容と関連性の高い応答が得られた。
• 両条件から得られた自由記述応答は、関与度、関連性、深さ、読みやすさの観点から、定性的および定量的指標を用いて収集・分析された。
• チャットボットは、データ収集の目的を満たしつつも、人間のような対話の流れを維持するように設計され、対話の流れを自然に保った。

実験結果

リサーチクエスチョン

• RQ1 従来のオンラインアンケートと比較して、AIチャットボットを介した対話型アンケートにおける参加者の関与度にどのような差が生じるか？
• RQ2 標準的なアンケートと比較して、チャットボットが自由記述応答の関連性、深さ、読みやすさをどの程度向上させるか？
• RQ3 AIチャットボットを用いたアンケートデータ収集において、主な設計上の課題と機会は何か？
• RQ4 ユーザーは、アンケート文脈におけるAIチャットボットの対話の流れと相互作用性をどのように評価するか？

主な発見

• AIを活用したチャットボットは、従来のオンラインアンケートと比較して、参加者の関与度を著しく向上させた。
• チャットボットと対話した参加者が提出した応答は、標準的なアンケート条件と比較して、有意に関連性が高く、内容が深く、読みやすさに優れていた。
• チャットボットは自由記述応答を適切に解釈し、文脈的に適切なフォローアップ質問を生成することができ、データの質が向上した。
• 本研究では、AIを活用した対話型アンケートが、静的で線形的なアンケート形式と比較して、より豊かで洗練された応答を引き出せることを明らかにした。
• 強みがある一方で、曖昧な応答や話題外れの応答に対処する能力に限界があり、曖昧さの解消戦略の改善が求められることが明らかになった。