[論文レビュー] Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys with Open-ended Questions

Ziang Xiao, Michelle X. Zhou+5 more|Cambridge University Engineering Department Publications Database|May 25, 2019

AI in Service Interactions参考文献 64被引用数 28

ひとこと要約

本論文では、自然言語理解を用いて応答を解釈し、動的プローブを実行してより深い洞察を引き出すことで、自由記述式の質問に対する会話型のアンケートを実施するAI搭載チャットボットの提案を行う。約600名の参加者を対象とした現地調査において、グリスの最大化則に基づく指標で測定した応答品質が著しく向上し、情報量、関連性、明確さ、的確さが向上した。また、従来のフォームベースのアンケートと比較して、参加者の関与度と開示意欲も向上した。

ABSTRACT

The rise of increasingly more powerful chatbots offers a new way to collect information through conversational surveys, where a chatbot asks open-ended questions, interprets a user's free-text responses, and probes answers whenever needed. To investigate the effectiveness and limitations of such a chatbot in conducting surveys, we conducted a field study involving about 600 participants. In this study with mostly open-ended questions, half of the participants took a typical online survey on Qualtrics and the other half interacted with an AI-powered chatbot to complete a conversational survey. Our detailed analysis of over 5200 free-text responses revealed that the chatbot drove a significantly higher level of participant engagement and elicited significantly better quality responses measured by Gricean Maxims in terms of their informativeness, relevance, specificity, and clarity. Based on our results, we discuss design implications for creating AI-powered chatbots to conduct effective surveys and beyond.

研究の動機と目的

• AI搭載チャットボットが自由記述式の質問を含むアンケートにおいて、参加者の関与度と応答品質を向上させることを調査すること。
• 会話型チャットボットアンケートと標準的なフォームベースのオンラインアンケートを比較し、高品質な自由記述応答を効果的に得られるかを検証すること。
• チャットボットインターフェースにおけるインタラクティブで動的なプローブが、アンケートの疲労感を軽減し、参加者の開示意欲を高めることを検証すること。
• 高品質で自然的かつ意味のあるアンケートインタラクションを支援するAIチャットボットの設計原則を特定すること。
• チャットボットが、アンケートを超えて、準構造的インタビューおよび関係性を構築するエージェントの応用分野において、有効なツールとしての可能性を検討すること。

提案手法

• 本研究では、Jujiプラットフォーム上にカスタム開発されたAI搭載チャットボットを導入し、自由記述式の質問を含む会話型アンケートを実施した。
• チャットボットは、自由記述応答を解釈するために自然言語理解を活用し、明確化、プローブ、フォローアップ質問などのアクティブリスニング技術を適用した。
• 参加者は、チャットボットアンケート（n≈300）またはフォームベースのQualtricsアンケート（n≈300）のいずれかに無作為に割り当てられた。
• チャットボットは、ユーザーの入力に基づいて質問を動的に調整し、応答を深めるためにソクラテス的質問の原則を適用した。
• 自由記述応答は、グリスの最大化則（情報量、関連性、的確さ、明確さ）を用いて品質を評価した。
• 参加者の関与度は、調査時間、応答長、自己報告の体験に基づいて測定された。

実験結果

リサーチクエスチョン

• RQ1 チャットボット駆動の会話型アンケートは、従来のフォームベースのアンケートよりも、より質の高い自由記述応答を引き出せるか？
• RQ2 チャットボットが自由記述応答を解釈し、それに応答する能力が、参加者の関与度と開示意欲にどのように影響するか？
• RQ3 動的プローブと会話型インタラクションが、アンケートの疲労感をどの程度軽減できるか？
• RQ4 AIチャットボットのどの設計的特徴が、アンケート文脈における応答品質とユーザーエクスペリエンスを最も顕著に向上させるか？
• RQ5 チャットボットは、質的データ収集の文脈において、構造的または準構造的インタビューを効果的に代替または補完できるか？

主な発見

• チャットボットを利用した参加者は、グリスの最大化則に基づく指標で測定したところ、フォームベースのアンケートと比較して、情報量、関連性、的確さ、明確さの点で著しく優れた自由記述応答を提供した。
• チャットボットグループの平均調査時間は20分で、応答長が長く、個人情報を開示する意欲も高かった。
• チャットボット参加者の67.4％がポジティブな体験を報告し、今後もチャット形式のアンケートに参加したいと回答した。
• チャットボットは、ユーザーの入力に応じて動的に適応し、会話の流れを維持することで、応答疲労を著しく軽減し、関与度を向上させた。
• チャットボット条件の参加者は、詳細で文脈を含んだ回答を提供する傾向が強く、質問を飛ばすか、最小限の応答を返す確率も低かった。
• 本研究では、AIチャットボットが、高品質な質的インサイトが求められる状況において、自由記述式の質問に対して静的アンケートを効果的に代替できることが示された。