[論文レビュー] Using Large Language Models to Generate Engaging Captions for Data Visualizations

Ashley Liew, Klaus Mueller|arXiv (Cornell University)|Dec 27, 2022

Data Visualization and Analytics被引用数 7

ひとこと要約

本論文は、GPT-3を含む大規模言語モデル（LLM）を用いて、散布図などのデータ可視化のための魅力的でジャーナリスティックなキャプションを生成する方法を調査している。鋭いプロンプト設計を通じて、著者らはLLMが基本的なデータ観察をはるかに超える、説得力があり人間らしいキャプションを生成できることを示している。これは、視聴者の関与度と物語の質を著しく向上させる。

ABSTRACT

Creating compelling captions for data visualizations has been a longstanding challenge. Visualization researchers are typically untrained in journalistic reporting and hence the captions that are placed below data visualizations tend to be not overly engaging and rather just stick to basic observations about the data. In this work we explore the opportunities offered by the newly emerging crop of large language models (LLM) which use sophisticated deep learning technology to produce human-like prose. We ask, can these powerful software devices be purposed to produce engaging captions for generic data visualizations like a scatterplot. It turns out that the key challenge lies in designing the most effective prompt for the LLM, a task called prompt engineering. We report on first experiments using the popular LLM GPT-3 and deliver some promising results.

研究の動機と目的

• データ可視化のための魅力的で単調でないキャプションを作成する課題に対処すること。これは、可視化研究者がジャーナリズムの訓練を受けていないため、しばしば基本的なデータ観察に限定される。
• 大規模言語モデル（LLM）がデータ可視化のキャプションに、説得力があり人間らしい文章を生成する可能性を探ること。
• LLMが生成するキャプションの質と関与度を最大化するための効果的なプロンプト設計戦略を同定すること。
• LLMが、従来の記述的キャプションよりも物語的で洞察に富んだ、より関与度の高いキャプションを生成できるかどうかを評価すること。

提案手法

• 入力されたデータ可視化（散布図を含む）に基づいてキャプションを生成するためにGPT-3言語モデルを活用すること。
• 可視化の種別、データのトレンド、望ましいトーン（例：ジャーナリスティック、魅力的）に関する文脈を含む構造化されたプロンプトの設計。
• 望ましいキャプションスタイルにモデルを導くために、例示的な入出力ペアを用いたfew-shot promptingの適用。
• 軸ラベル、データ範囲、観察されたトレンドなどのメタデータをプロンプトに組み込むことで、キャプションの関連性を向上させること。
• 関与度と情報量の観点から最適化するため、定性的な評価を通じたプロンプトの反復的改善。
• 比較のためのベースラインとして、zero-shot promptingの使用。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、標準的な記述的キャプションよりも魅力的で物語的なデータ可視化のキャプションを生成できるか？
• RQ2 LLMが可視化の文脈において、高品質で関与度の高いキャプションを引き出すために最も効果的なプロンプト設計戦略は何か？
• RQ3 LLMが生成するキャプションは、人間が書いたキャプションと比べて物語的質と関与度においてどのように異なるか？
• RQ4 GPT-3は、表面的なデータ観察を超えて、より深い洞察を反映するキャプションをどの程度生成できるか？

主な発見

• プロンプト設計により、zero-shot promptingと比較してLLMが生成するキャプションの質と関与度が顕著に向上した。
• LLMが生成するキャプションは、標準的な記述的キャプションよりも関与度が高く、ジャーナリスティックなトーンであると認識された。
• データトレンド、軸ラベルなどの文脈的メタデータをプロンプトに組み込むことで、より正確で関連性の高いキャプションが得られた。
• 例示キャプションを用いたfew-shot promptingにより、出力の整合性と物語的質が向上した。
• モデルは、単なるデータ記述を越えて、洞察や物語要素を伝えられるキャプションを効果的に生成できた。