[論文レビュー] Collecting Qualitative Data at Scale with Large Language Models: A Case Study

Alejandro Cuevas Villalba, Jennifer V. Scurrell+3 more|arXiv (Cornell University)|Sep 18, 2023

AI in Service Interactions被引用数 4

ひとこと要約

本研究では、スケーラブルな定性的データ収集のための大規模言語モデル（LLM）拡張チャットボットの評価を行い、LLMを活用した動的プローブと会話要約が、ルールベースのチャットボットに比べて応答の豊かさとユーザー満足度を顕著に向上させることを示した。しかし、改善されたAI対話にもかかわらず、ユーザーは依然として人間のインタビュアーを好む傾向にあった。

ABSTRACT

Chatbots have shown promise as tools to scale qualitative data collection. Recent advances in Large Language Models (LLMs) could accelerate this process by allowing researchers to easily deploy sophisticated interviewing chatbots. We test this assumption by conducting a large-scale user study (n=399) evaluating 3 different chatbots, two of which are LLM-based and a baseline which employs hard-coded questions. We evaluate the results with respect to participant engagement and experience, established metrics of chatbot quality grounded in theories of effective communication, and a novel scale evaluating "richness" or the extent to which responses capture the complexity and specificity of the social context under study. We find that, while the chatbots were able to elicit high-quality responses based on established evaluation metrics, the responses rarely capture participants' specific motives or personalized examples, and thus perform poorly with respect to richness. We further find low inter-rater reliability between LLMs and humans in the assessment of both quality and richness metrics. Our study offers a cautionary tale for scaling and evaluating qualitative research with LLMs.

研究の動機と目的

• HCI研究におけるスケーラビリティと定性的特性のトレードオフを解消するため、LLMを活用してチャットボットベースのデータ収集を強化すること。
• ユーザーが会話型AIをどのように認識しているかと、実際のシステム機能との間の「期待の溝」を埋めること。
• LLM拡張チャットボットが、ユーザーの関与度、応答品質、ユーザー体験において、ルールベースのチャットボットを上回るかどうかを評価すること。
• LLMが生成する会話要約が、定性的研究におけるスケーラブルなメンバー・チェックインの有効な手法として機能するかを検討すること。
• 他のHCI研究者が採用・拡張できるオープンソースのフレームワークを提供すること。

提案手法

• ユーザー入力に基づいて動的にフォローアップ質問を生成できるLLM拡張チャットボットの開発。
• LLMを用いてリアルタイムで会話要約を生成・提示するモジュールを実装。
• 399名の参加者を対象に、ルールベースのチャットボットまたは2種類のLLM拡張バージョンのいずれかと対話するユーザースタディを設計。
• 定量的指標（例：応答長、関与時間）と定性的フィードバックを併用して、ユーザー体験と応答品質を評価。
• 動的プローブと要約生成を可能にするプロンプト工学を適用し、厳密なルールベースの論理に依存するのを最小限に抑えた。
• 他のHCI研究者が再現・拡張できるように、オープンソースのコードベースとプロンプトを提供。

Figure 1. Execution diagram from our chatbot. The interaction begins with a hardcoded question from the chatbot. Then, the Dynamic Prober module generates a dynamic follow-up based on the participant’s response two times. When we have asked 3 main questions, the Member Checker summarizes the convers

実験結果

リサーチクエスチョン

• RQ1 チャットボットベースのデータ収集にLLMを統合することで、ルールベースのシステムに比べてユーザーの関与度が向上するか？
• RQ2 LLM拡張チャットボットは、定性的応答の豊かさと深さをどの程度向上させるか？
• RQ3 ユーザーが会話型AIをどのように期待しているかと、LLM駆動のチャットボットの実際の性能との間には、どの程度のギャップがあるか？
• RQ4 LLMが生成する会話要約は、定性的研究におけるスケーラブルなメンバー・チェックインの有効な手法として機能するか？
• RQ5 ユーザーは、従来のWebアンケートや人間のインタビュアーと比較して、LLM拡張チャットボットをどのように認識しているか？

主な発見

• 動的プローブを備えたLLM拡張チャットボットは、定量的および定性的なユーザー体験指標の両方を顕著に改善し、期待とのギャップが縮小したことを示した。
• 参加者の約95％がLLMが生成した会話要約に同意しており、スケーラブルなメンバー・チェックインの強力な可能性を示した。
• 関与度は条件間で類似していたが、応答の豊かさはLLM拡張条件で顕著に高かった。
• ユーザーは従来のWebアンケートよりもLLM拡張チャットボットを好んだが、依然として人間のインタビュアーを好む傾向にあった。
• 参加者はパーソナライズや明確化の質問を尋ねられる能力を期待しており、これらの特徴がさらなる質の向上に寄与する可能性があると示唆された。
• 本研究は、LLM拡張チャットボットが、時間的に制限のある研究状況において、深いインタビューの代替手段として、スケーラブルに高品質な定性的データを収集可能であることを確認した。

Figure 2. User interface of our chatbot application, which could be accessed via a web or mobile device. Chatbot-generated text is indicated in grey with chatbot-generated questions made more salient to the user through the use of yellow highlighting. User text is indicated in blue. The image presen