[論文レビュー] How Good is ChatGPT in Giving Advice on Your Visualization Design?

Nam Wook Kim, Ahn, Yongsu+2 more|arXiv (Cornell University)|Oct 14, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本研究では、実際の実務者からの質問に対して、ChatGPTのデータ可視化デザインアドバイスの質を人間の専門家からのフィードバックと比較することで、ChatGPTの能力を評価している。混合手法を用いた分析（フォーラム投稿の分析とユーザースタディの実施）の結果、ChatGPTは包括性、明確さ、カバー範囲において人間の回答と同等またはそれを上回っているが、深さ、微細なニュアンス、会話の適応性については人間のほうが好まれていることがわかった。

ABSTRACT

Data visualization creators often lack formal training, resulting in a knowledge gap in design practice. Large language models such as ChatGPT, with their vast internet-scale training data, offer transformative potential to address this gap. In this study, we used both qualitative and quantitative methods to investigate how well ChatGPT can address visualization design questions. First, we quantitatively compared the ChatGPT-generated responses with anonymous online Human replies to data visualization questions on the VisGuides user forum. Next, we conducted a qualitative user study examining the reactions and attitudes of practitioners toward ChatGPT as a visualization design assistant. Participants were asked to bring their visualizations and design questions and received feedback from both Human experts and ChatGPT in randomized order. Our findings from both studies underscore ChatGPT's strengths, particularly its ability to rapidly generate diverse design options, while also highlighting areas for improvement, such as nuanced contextual understanding and fluid interaction dynamics beyond the chat interface. Drawing on these insights, we discuss design considerations for future LLM-based design feedback systems.

研究の動機と目的

• 非専門家実務者（正式な訓練を受けていない者）が抱えるデータ可視化デザインに関する知識のギャップを埋めるため。
• GPTのような大規模言語モデル（LLM）が、人間の専門家と同等の代替手段または補完手段として、デザインフィードバックを提供できるかどうかを調査するため。
• 実務者たちが、ChatGPTと人間の専門家から得るフィードバックに対して、どのように認識し、反応するかを理解するため。
• LLMのデータ可視化分野におけるベンチマーク作成の基盤を築くため、重要な評価指標と実世界のユースケースを特定するため。
• LLMベースのアシスタントを可視化ツールや教育現場に効果的に統合する方法を検討するため。

提案手法

• VisGuideフォーラムの100件以上の質問について、6つの評価指標（カバー範囲、関連性、包括性、明確さ、深さ、実行可能性）を用いて、ChatGPTが生成した回答と人間の専門家による回答を定量的に比較した分析を実施した。
• 21名の実務者を対象にした混合手法のユーザースタディを実施し、各自が自身の可視化図を提示し、ChatGPTと人間の専門家から順序をランダムにした形でフィードバックを受けた。
• 構造化された体験アンケートの収集と、フィードバック後のインタビューを実施し、ユーザーの認識、好み、フィードバックの質を評価した。
• テーマ的分析を用いて、ユーザーのフィードバックから、コミュニケーションのダイナミクス、認識された専門性、AIと人間のアドバイスに対する信頼性に関するパターンを特定した。
• チャート選択、データエンコーディング、視覚的明瞭性など、多様なデータ可視化デザインの課題に対して、ChatGPTのパフォーマンスを評価した。
• 収集したデータセットと評価指標を活用し、今後のLLMのデータ可視化分野におけるベンチマーク作成のためのフレームワークを提案した。

Figure 1: Methodology Overview: The methodology comprises two key phases. In the first phase, questions answered within a forum space by Human respondents are explored and then presented to ChatGPT . The second phase involves a feedback session in which users solicit visualization design feedback fr

実験結果

リサーチクエスチョン

• RQ1 RQ1: ChatGPTは、主な評価指標（包括性、明確さ、深さなど）において、人間の専門家並みのデータ可視化知識を有していると言えるか？
• RQ2 RQ2: 実務者たちは、ChatGPTからのフィードバックと人間の専門家からのフィードバックに対して、どのように認識し、反応するか？
• RQ3 RQ3: ChatGPTは、実行可能で、微細で、文脈に即したデザインアドバイスを提供する上で、どのような強みと限界を示しているか？
• RQ4 RQ4: LLMベースのアシスタントは、どのようにして可視化ワークフローおよび教育的文脈に効果的に統合できるか？

主な発見

• ChatGPTはカバー範囲、包括性、明確さにおいて人間の回答を上回り、可視化デザインに関する質問に対して包括的で構造化された回答を提供した。
• 人間の専門家は、流暢で適応可能な会話が可能で、より深い文脈に即した批判的フィードバックを提供できるため、実務者から一貫して好まれている。
• ChatGPTは、多様なデザイン案の提示やアイデーショングループの支援において優れたパフォーマンスを示し、特に初期段階のデザイン探索に有用であった。
• 広範な知識ベースを有する一方で、深さや批判的思考には欠けており、一般的で表面的なフィードバックを多く生成していた。
• 参加者たちは、ChatGPTの受動的で肯定的なコミュニケーションスタイルが、仮説を疑問視する力や、複雑なデザイン意思決定を導く能力を制限していると報告した。
• 本研究では、今後のLLMが視覚的認識能力を向上させ、より能動的で対話的な対話パターンを採用することで、デザインの推論をより効果的に支援できるようになると判明した。

Figure 2: Comparison of metric scores between Human and ChatGPT responses: the chart showcases the existence of significant differences for the metrics of breadth, clarity, and coverage, while the scores for actionablity, depth and topicality were comparable for ChatGPT and Human response ratings. E