[논문 리뷰] Using Large Language Models to Generate Engaging Captions for Data Visualizations

Ashley Liew, Klaus Mueller|arXiv (Cornell University)|2022. 12. 27.

Data Visualization and Analytics인용 수 7

한 줄 요약

이 논문은 산점도와 같은 데이터 시각화를 위한 매력적이고 저널리즘 스타일의 캡션을 생성하는 데에 대규모 언어 모델(Large Language Models, LLMs), 특히 GPT-3를 사용하는 것을 조사한다. 철저한 프롬프트 엔지니어링을 통해 저자들은 LLM이 단순한 데이터 관찰을 넘어서 강렬하고 인간다운 캡션을 생성할 수 있음을 입증한다. 이는 시각화의 관객 참여도와 서사 품질을 크게 향상시킨다.

ABSTRACT

Creating compelling captions for data visualizations has been a longstanding challenge. Visualization researchers are typically untrained in journalistic reporting and hence the captions that are placed below data visualizations tend to be not overly engaging and rather just stick to basic observations about the data. In this work we explore the opportunities offered by the newly emerging crop of large language models (LLM) which use sophisticated deep learning technology to produce human-like prose. We ask, can these powerful software devices be purposed to produce engaging captions for generic data visualizations like a scatterplot. It turns out that the key challenge lies in designing the most effective prompt for the LLM, a task called prompt engineering. We report on first experiments using the popular LLM GPT-3 and deliver some promising results.

연구 동기 및 목표

• 데이터 시각화를 위한 매력적이고 지나치게 단조로운 캡션을 만들기 위한 과제를 해결하기 위해, 시각화 연구자들이 저널리즘 교육을 받지 못함에 따라 일반적으로 기본적인 데이터 관찰에 국한되는 문제를 다루는 것.
• 대규모 언어 모델(LLMs)이 데이터 시각화 캡션을 위한 매력적이고 인간다운 글쓰기 양식을 생성하는 잠재력을 탐색하는 것.
• LLM이 생성하는 캡션의 품질과 참여도를 극대화하는 데 효과적인 프롬프트 엔지니어링 전략을 특정하는 것.
• LLM이 기존의 기술적 서술 캡션보다 더 서사적이고 통찰력 있으며 매력적인 캡션을 생성할 수 있는지 평가하는 것.

제안 방법

• 입력된 데이터 시각화(산점도 포함) 기반으로 GPT-3 언어 모델을 활용해 캡션을 생성하는 것.
• 시각화 유형, 데이터 추세, 원하는 톤(예: 저널리즘 스타일, 매력적인)에 대한 맥락을 포함한 구조화된 프롬프트를 설계하는 것.
• 모델이 원하는 캡션 스타일로 유도하기 위해 예시 입력-출력 쌍을 활용한 피어싱 프롬프팅(Few-shot prompting)을 적용하는 것.
• 축 레이블, 데이터 범위, 관찰된 추세와 같은 메타데이터를 프롬프트에 통합하여 캡션의 관련성 향상.
• 질적 평가를 통해 반복적인 프롬프트 최적화를 수행하여 참여도와 정보성 향상.
• 기준선으로서의 제로샷 프롬프팅(Zero-shot prompting)을 사용하여 엔지니어드 프롬프트와 비교하는 것.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 표준적인 서술적 캡션보다 더 매력적이고 서사적인 캡션을 데이터 시각화에 대해 생성할 수 있는가?
• RQ2 LLM이 시각화 맥락에서 고품질의 매력적인 캡션을 유도하는 데 가장 효과적인 프롬프트 엔지니어링 전략은 무엇인가?
• RQ3 LLM이 생성한 캡션은 인간이 작성한 캡션과 비교해 서사 품질과 참여도 측면에서 어떻게 다른가?
• RQ4 GPT-3는 표면적인 데이터 관찰을 넘어서 더 깊은 통찰을 반영하는 캡션을 어느 정도 생성할 수 있는가?

주요 결과

• 프롬프트 엔지니어링은 제로샷 프롬프팅에 비해 LLM이 생성하는 캡션의 품질과 참여도를 크게 향상시킨다.
• LLM이 생성한 캡션은 표준적인 서술적 캡션보다 더 매력적이고 저널리즘 스타일의 어조로 인식되었다.
• 메타데이터(예: 데이터 추세, 축 레이블)를 프롬프트에 통합함으로써 더 정확하고 관련성 있는 캡션을 생성할 수 있었다.
• 예시 캡션을 포함한 피어싱 프롬프팅은 생성된 출력물의 일관성과 서사 품질을 향상시켰다.
• 모델는 단순한 데이터 서술을 넘어서 통찰력과 스토리텔링 요소를 담은 캡션을 성공적으로 생성하였다.