[논문 리뷰] Vi(E)va LLM! A Conceptual Stack for Evaluating and Interpreting Generative AI-based Visualizations

Luca Podo, Muhammad Ishmal외 1명|arXiv (Cornell University)|2024. 02. 03.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 LLM이 생성한 시각화의 평가를 원자적이고 해석 가능한 구성 요소로 분해하는 개념적 평가 스택인 EvaLLM을 소개한다. 이는 정교한 다면적 평가를 가능하게 하며, 표준화된 벤치마킹 기반을 마련한다. 프레임워크는 웹 기반 플랫폼으로 구현되어 자동 및 수동 평가를 지원하며, GPT-3.5-turbo와 Llama2-70b에 대한 두 가지 사례 연구를 통해 생성된 시각화에서의 구조적 및 의미적 오류를 드러내어, LLM 기반 시각화 분야의 표준화된 벤치마킹 기반을 구축한다.

ABSTRACT

The automatic generation of visualizations is an old task that, through the years, has shown more and more interest from the research and practitioner communities. Recently, large language models (LLM) have become an interesting option for supporting generative tasks related to visualization, demonstrating initial promising results. At the same time, several pitfalls, like the multiple ways of instructing an LLM to generate the desired result, the different perspectives leading the generation (code-based, image-based, grammar-based), and the presence of hallucinations even for the visualization generation task, make their usage less affordable than expected. Following similar initiatives for benchmarking LLMs, this paper copes with the problem of modeling the evaluation of a generated visualization through an LLM. We propose a theoretical evaluation stack, EvaLLM, that decomposes the evaluation effort in its atomic components, characterizes their nature, and provides an overview of how to implement and interpret them. We also designed and implemented an evaluation platform that provides a benchmarking resource for the visualization generation task. The platform supports automatic and manual scoring conducted by multiple assessors to support a fine-grained and semantic evaluation based on the EvaLLM stack. Two case studies on GPT3.5-turbo with Code Interpreter and Llama2-70-b models show the benefits of EvaLLM and illustrate interesting results on the current state-of-the-art LLM-generated visualizations.

연구 동기 및 목표

• LLM이 생성한 시각화에 대해 표준화되고 종합적인 평가 프레임워크가 부족한 문제를 해결하기 위해, 점점 더 널리 사용되고 있지만 환각 현상과 최선의 실천 방침 준수의 일관성 부족으로 인해 문제가 발생하는 분야에 대비한다.
• 평가 과정을 원자적 구성 요소로 분해 가능한 스택으로 모델링하여, 시각화 품질에 대한 체계적이고 해석 가능하며 반복 가능한 평가를 가능하게 한다.
• 표준화된 평가 스택인 EvaLLM을 웹 기반 플랫폼에 구현하여 자동 평가와 인간이 참여하는 평가를 모두 지원함으로써, 벤치마킹을 위한 기반을 마련한다.
• 최신 LLM에 대한 실증적 사례 연구를 통해 프레임워크의 유용성을 입증하고, 시각화 생성 과정에서 반복적으로 나타나는 오류를 규명한다.
• 향후 LLM 기반 시각화 작업에서의 비교적 벤치마킹 및 오류 분류 체계 개발을 위한 기반을 마련한다.

제안 방법

• 평가를 계층적 구성 요소로 나누어 각각이 시각화 품질의 별도 차원(예: 구조적, 의미적, 인지적)을 나타내도록 하는 개념적 스택인 EvaLLM을 제안한다.
• 각 계층 내에서 정교한 점수 평가를 가능하게 하기 위해 다수의 수준을 정의하며, 예를 들어 데이터 매핑의 정확성, 시각화 유형의 선택, 설계 원칙 준수 여부 등을 포함한다.
• 자동 평가(예: LLM 또는 규칙 기반 점검)와 다수의 평가자에 의한 수동 레이블링을 모두 지원하는 웹 기반 평가 플랫폼을 구현한다.
• NvBench 데이터셋과 통합하여, GPT-3.5-turbo(CoDE Interpreter 포함)와 Llama2-70b 두 모델에 대해 50개 샘플을 평가한다.
• 플랫폼을 통해 EvaLLM 계층별로 점수를 수집하고 분석하여 오류 패tern을 규명하고, 표준화된 방식으로 모델 성능을 평가한다.
• 향후 복잡한 시각화(예: 산키 다이어그램, 지도 등) 및 대시보드에 대한 확장성을 고려하여 평가 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 LLM이 생성한 시각화는 어떻게 체계적이고 다면적이며 해석 가능한 방식으로 평가할 수 있으며, 이는 구조적 및 의미적 품질을 모두 포괄하는가?
• RQ2 LLM이 생성한 시각화에서 가장 흔한 오류 유형은 무엇이며, 계층적 평가 프레임워크를 통해 체계적으로 분류하고 진단할 수 있는가?
• RQ3 EvaLLM과 같은 표준화된 평가 스택은 다양한 LLM 간의 시각화 생성 과업에서 공정하고 정량적인 비교를 얼마나 잘 가능하게 하는가?
• RQ4 인간 평가자와 자동 시스템 간의 점수 일치 정도는 어떻게 되며, 인간이 참여하는 평가가 미세한 의미적 결함을 탐지하는 데 어떤 역할을 하는가?
• RQ5 제안된 프레임워크는 LLM 시각화 생성 과정에서의 오류 분류 체계 개발을 지원할 수 있으며, 이를 통해 모델 개선 및 완화 전략 수립에 어떻게 기여할 수 있는가?

주요 결과

• 사례 연구에서 GPT-3.5-turbo와 Llama2-70b가 모두 잘못된 데이터 매핑이나 부적절한 차트 유형과 같은 구조적 결함을 자주 유발하는 것으로 드러났다.
• 의미적 오류가 빈번히 발생했으며, 사용자 의도의 오해, 잘못된 레이블링, 시각화 최선의 실천 방침 준수 실패 등이 포함되었고, 시각적 출력이 타당해 보일지라도 여전히 문제가 있었다.
• 평가 플랫폼은 다수의 평가자에 의한 수동 점수 평가를 성공적으로 지원하여, 자동 점검만으로는 식별할 수 없는 미묘한 문제를 신뢰성 있게 탐지할 수 있었다.
• EvaLLM 스택은 특정 계층에서 오류 유형을 명확히 식별하는 데 기여했으며, 예를 들어 색상 사용 또는 레이아웃과 같은 인지적 문제를 특정하여 모델 개선에 집중할 수 있었다.
• 샘플 수가 제한적임(50개, NvBench에서)에도 불구하고, 이 프레임워크는 확장 가능한 벤치마킹 잠재력을 잘 보여주었으며, 산키 다이어그램이나 지도 등 복잡한 시각화로의 확장도 가능했다.
• 결과적으로 현재의 LLM은 기본적인 시각화 생성은 가능하지만, 여전히 시각화 설계 원칙 준수의 강건성과 일관성에 빈도가 떨어지며, 표준화된 평가의 필요성을 강조한다.