[論文レビュー] Vi(E)va LLM! A Conceptual Stack for Evaluating and Interpreting Generative AI-based Visualizations

Luca Podo, Muhammad Ishmal+1 more|arXiv (Cornell University)|Feb 3, 2024

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

本論文では、大規模言語モデル（LLM）が生成する可視化の評価を、原子的で解釈可能な要素に分解する概念的評価スタック「EvaLLM」を紹介する。これにより、微細な多面的評価が可能となり、標準化されたベンチマークの基盤が築かれる。フレームワークはウェブベースのプラットフォームとして実装され、自動および手動のスコアリングを支援しており、GPT-3.5-turbo および Llama2-70b を用いた2つの事例研究を通じて、生成された可視化に存在する構造的・意味的誤りが明らかになった。これにより、LLMベースの可視化における標準化されたベンチマーク評価の基盤が確立された。

ABSTRACT

The automatic generation of visualizations is an old task that, through the years, has shown more and more interest from the research and practitioner communities. Recently, large language models (LLM) have become an interesting option for supporting generative tasks related to visualization, demonstrating initial promising results. At the same time, several pitfalls, like the multiple ways of instructing an LLM to generate the desired result, the different perspectives leading the generation (code-based, image-based, grammar-based), and the presence of hallucinations even for the visualization generation task, make their usage less affordable than expected. Following similar initiatives for benchmarking LLMs, this paper copes with the problem of modeling the evaluation of a generated visualization through an LLM. We propose a theoretical evaluation stack, EvaLLM, that decomposes the evaluation effort in its atomic components, characterizes their nature, and provides an overview of how to implement and interpret them. We also designed and implemented an evaluation platform that provides a benchmarking resource for the visualization generation task. The platform supports automatic and manual scoring conducted by multiple assessors to support a fine-grained and semantic evaluation based on the EvaLLM stack. Two case studies on GPT3.5-turbo with Code Interpreter and Llama2-70-b models show the benefits of EvaLLM and illustrate interesting results on the current state-of-the-art LLM-generated visualizations.

研究の動機と目的

• LLMが生成する可視化のための標準的で包括的な評価フレームワークの欠如に応えること。これは、近年急速に利用が進むが、幻覚やベストプラクティスへの一貫性の欠如に起因して問題を引き起こす傾向がある。
• 評価プロセスを、原子的要素に分解可能なスタックとしてモデル化することで、可視化品質の構造的で解釈可能かつ再現可能な評価を可能にすること。
• EvaLLMスタックを実装したウェブベースのプラットフォームを設計し、自動評価と人間によるフィードバック（人間を含む評価）の両方を支援することで、ベンチマーク評価を可能にすること。
• 最先端のLLMを対象とした実証的ケーススタディを通じて、フレームワークの実用性を示し、可視化生成における繰り返し発生する誤りを同定すること。
• 今後のLLMベースの可視化タスクにおける比較的ベンチマーク評価と誤り分類法の開発の基盤を築くこと。

提案手法

• EvaLLMを概念的スタックとして提案し、可視化品質の異なる次元（例：構造的、意味的、知覚的）を表すレイヤーに分けて評価を組織化すること。
• 各レイヤーに複数の段階を定義し、微細なスコアリングを可能にすること。たとえば、データマッピングの正しさ、可視化タイプの選択、デザイン原則への準拠など。
• 複数の評価者が参加可能な手動ラベリングと、LLMやルールベースのチェックによる自動スコアリングを両立するウェブベースの評価プラットフォームを実装すること。
• NvBenchデータセットと統合し、GPT-3.5-turbo（コードインタープリター搭載）とLlama2-70bの2つのLLMに対して、50件のサンプルを評価すること。
• プラットフォームを通じてEvaLLMレイヤーごとにスコアを収集・分析し、誤りパターンを同定し、標準化された方法でモデルのパフォーマンスを評価すること。
• 将来的に、サンキーダイアグラムやジオマップなどの複雑な可視化やダッシュボードへの対応を想定した、評価パイプラインの設計を行うこと。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成する可視化を、構造的で多面的かつ解釈可能な方法で評価するには、どのようなアプローチが有効か？ これは、構造的および意味的品質の両方を捉えるものである。
• RQ2 LLMが生成する可視化における最も一般的な誤りタイプは何か？ また、階層的評価フレームワークを用いて、それらを体系的に分類・診断するにはどうすればよいか？
• RQ3 EvaLLMのような標準化された評価スタックは、可視化生成タスクにおける異なるLLM間の公平で定量的な比較をどの程度可能にするか？
• RQ4 人間の評価者と自動システムのスコア付けはどの程度一致するか？ また、人間を含む評価は、微妙な意味的欠陥を検出する上でどのような役割を果たすか？
• RQ5 提案されたフレームワークは、可視化生成におけるLLM誤りの分類法の構築を支援できるか？ また、その分類法は、モデルの改善策や緩和戦略の立案にどのように寄与するか？

主な発見

• ケーススタディの結果、GPT-3.5-turbo および Llama2-70b は、誤ったデータマッピングや不適切な図表タイプの選択といった構造的欠陥を頻繁に生成することが判明した。
• 意味的誤りが顕著に見られ、ユーザーの意図の誤解、誤ったラベル付け、可視化のベストプラクティスへの準拠不足が、外見上妥当に見える場合でさえも発生していた。
• 評価プラットフォームは、複数の評価者による手動スコアリングを効果的に支援し、自動チェックだけでは特定できない微細な問題の検出を可能にした。
• EvaLLMスタックにより、特定のレイヤーでの誤りタイプ（例：色の使用やレイアウトにおける知覚的問題）を明確に同定でき、モデルの特定の分野への改善が可能になった。
• NvBenchから抽出されたサンプル数が限定的（50件）であったものの、スケーラブルなベンチマーク評価の強力な可能性が示された。また、サンキーダイアグラムやジオマップなどの複雑な可視化への拡張も可能である。
• 結果から、現在のLLMは基本的な可視化の生成は可能であるものの、可視化設計原則への一貫性と頑健性に欠けていることが示唆された。これにより、標準化された評価の必要性が強調された。