[論文レビュー] Conversational AI Threads for Visualizing Multidimensional Datasets

Matt-Heun Hong, Anamaria Crisan|arXiv (Cornell University)|Nov 9, 2023

AI in Service Interactions被引用数 4

ひとこと要約

本稿では、ユーザーが複数の分析会話を同時に管理できるようにする、視覚的データ分析を強化するマルチスレッド型対話型AIシステム「AI Threads」を紹介する。大規模言語モデル（LLMs）を活用することで、動的で文脈に適応した可視化の微調整が可能となり、複雑な分析対話における使いやすさと一貫性が向上したが、幻覚現象や文脈のずれといった課題は依然として残存している。

ABSTRACT

Generative Large Language Models (LLMs) show potential in data analysis, yet their full capabilities remain uncharted. Our work explores the capabilities of LLMs for creating and refining visualizations via conversational interfaces. We used an LLM to conduct a re-analysis of a prior Wizard-of-Oz study examining the use of chatbots for conducting visual analysis. We surfaced the strengths and weaknesses of LLM-driven analytic chatbots, finding that they fell short in supporting progressive visualization refinements. From these findings, we developed AI Threads, a multi-threaded analytic chatbot that enables analysts to proactively manage conversational context and improve the efficacy of its outputs. We evaluate its usability through a crowdsourced study (n=40) and in-depth interviews with expert analysts (n=10). We further demonstrate the capabilities of AI Threads on a dataset outside the LLM's training corpus. Our findings show the potential of LLMs while also surfacing challenges and fruitful avenues for future research.

研究の動機と目的

• LLMsが視覚的データ分析の過程で進行する会話の文脈の変化をどのように処理するかを調査すること。
• 段階的な可視化の微調整を管理する上で単一スレッド型チャットボットに見られる制限を解決すること。
• 文脈管理と分析の一貫性を向上させるために、マルチスレッド型対話インターフェースを設計・評価すること。
• 現実世界のデータ分析タスクにおけるLLM駆動のチャットボットの使いやすさと信頼性を評価すること。
• AI駆動の視覚的分析ツールにおける主な課題と今後の方向性を特定すること。

提案手法

• 以前のウォズウィック・オブ・オズ研究を再分析し、会話の文脈の変化を抽出するとともに、LLMの挙動評価のための真値を取得した。
• ユーザーが別々の分析タスク用にスレッドを生成できるマルチスレッド型チャットボットインターフェースとしてAI Threadsを設計した。
• 自然言語クエリに対してテキスト応答と可視化コードを生成するAIエージェントとしてLLMを統合した。
• スレッド固有の文脈管理を実装し、ユーザーが分析の異なる側面を隔離して微調整できるようにした。
• クラウドソーシング研究（n=40）とエキスパートインタビュー（n=10）を組み合わせて、使いやすさ、正確性、ユーザーの認識を評価した。
• 一般化性能をテストするため、LLMのトレーニングデータ内に含まれるタイタニックデータセット（トレーニング分布内）と、トレーニングデータ外の新しいデータセットの両方でシステムを評価した。

Figure 1. Excerpts of participants’ analytic conversations with AI Threads. We show participant conversations in threads modifying the visual encoding (E03, E04, P40), as well as for sequential (E07) and individual (P32) utterances. Excerpts were derived from participants in crowd-sourced (P#) and i

実験結果

リサーチクエスチョン

• RQ1 LLMsは、データ分析における段階的な可視化の微調整の過程で、会話の文脈をどの程度維持できるか。
• RQ2 単一スレッド型LLMチャットボットが、複雑な分析対話の支援において持つ強みと限界は何か。
• RQ3 マルチスレッド型会話管理は、AI駆動の視覚的分析ツールの使いやすさと正確性をどの程度向上させられるか。
• RQ4 ユーザーは、テキストと可視化生成を両方支援するLLM駆動のチャットボットと、どのように対話し、どのように認識するか。
• RQ5 LLMsを用いたデータ分析において、幻覚現象や文脈のずれといった課題はどのようなものがあり、それらはどのように軽減できるか。

主な発見

• AI Threadsは、自然言語による可視化の生成と微調整において強力な能力を示し、属性の追加・削除やエンコードタイプの変更といった操作をサポートした。
• クラウドソーシング研究（n=40）の参加者からは、AI Threadsに対して肯定的な評価が得られ、視覚的分析タスクにおける使いやすさと有用性が高く評価された。
• エキスパートアナリスト（n=10）は、AI Threadsがより豊富で柔軟性に富んだ分析対話に対応できることを確認したが、会話の流れや出典の管理をより良くする必要があると指摘した。
• 全体的な正確性は高かったが、誤ったデータ変更（例：P40）や誤解を招く説明（例：P35）といった明白でない誤りが見られたことから、依然として幻覚リスクが存在することが示された。
• タイタニックデータセット（トレーニング分布内）では高いパフォーマンスを示したが、分布外のデータセットへの一般化は依然として課題である。
• マルチスレッド型アーキテクチャは、単一スレッド型の代替案と比較して、文脈管理の面で顕著に向上を示し、ユーザーが複雑な分析をより効果的に整理できるようになった。

Figure 2. Comparison for visualization produced between the WoZ study and different systems. Progressive utterances for modifying an initial visual encoding (top row) by different systems. Black boxes around the visualization indicate the creation of a new visualization—a failure to apply a progress