[論文レビュー] DataTales: Investigating the use of Large Language Models for Authoring Data-Driven Articles

Nicole Sultanum, Arjun Srinivasan|arXiv (Cornell University)|Aug 8, 2023

Scientific Computing and Data Management被引用数 4

ひとこと要約

本論文では、大規模言語モデル（LLMs）を活用して、インタラクティブな可視化と結びついた物語的コンテンツを生成するプロトタイプシステムDataTalesを紹介する。11名のデータ専門家を対象とした定性的研究を通じて、チャートベースのプロンプト、アノテーションのガイダンス、物語の要約といった主な機能的利点を同定するとともに、幻覚現象、バイアス、外部検証の必要性といった課題も浮き彫りにした。本研究は、LLM統合型データストーリーティングツールの設計に向けたインサイトを提供する。

ABSTRACT

Authoring data-driven articles is a complex process requiring authors to not only analyze data for insights but also craft a cohesive narrative that effectively communicates the insights. Text generation capabilities of contemporary large language models (LLMs) present an opportunity to assist the authoring of data-driven articles and expedite the writing process. In this work, we investigate the feasibility and perceived value of leveraging LLMs to support authors of data-driven articles. We designed a prototype system, DataTales, that leverages a LLM to generate textual narratives accompanying a given chart. Using DataTales as a design probe, we conducted a qualitative study with 11 professionals to evaluate the concept, from which we distilled affordances and opportunities to further integrate LLMs as valuable data-driven article authoring assistants.

研究の動機と目的

• 大規模言語モデル（LLMs）を用いてデータドリブンな記事作成を支援する方法の実現可能性と評価された価値を調査すること。
• チャート操作が、直接的なプロンプト入力に代わる、LLMsに物語的意図を伝えるより直感的な方法として機能する仕組みを検討すること。
• データストーリーティングワークフローにおいてLLMを共同執筆支援者として統合する際の設計的利点と課題を同定すること。
• ユーザーのアノテーション、要約、外部検証メカニズムを通じて、LLMが生成する物語をどのように改善できるかを理解すること。
• 幻覚現象、確認バイアス、データリテラシーのギャップといった、LLM支援コンテンツ生成における倫理的・信頼性に関する懸念を解決すること。

提案手法

• 著者らは、GPT-3.5-turbo LLMをD3.jsでレンダリングされたチャートとReactベースのUIコンポonentと統合したウェブベースのプロトタイプであるDataTalesを開発した。
• このシステムは、チャートとオプションのアノテーションに基づいて物語的テキストを生成でき、テキストと視覚的要素をリアルタイムでリンクする相互作用性を備えている。
• ユーザーは生成されたテキストを編集したり、物語を再生成したり、複数の物語バージョンの中から選択したりすることで、物語的コンテンツの反復的改善が可能である。
• ユーザーのアノテーションにより、焦点や文脈をガイドできる。たとえば、データポイントを強調したり、トレンドラインを引いたりして重要性を示唆できる。
• DataTalesをデザインプローブとして用い、11名のデータ専門家を対象とした定性的な研究を実施し、使いやすさ、有用性、制限事項に関するフィードバックを収集した。
• 得られた知見は、要約、外部データの推薦、出典の記載とフィードバックループによるエラー低減といった13のインサイト（T1–T13）に要約された。

Figure 1: \datatales workflow overview. Given a chart and an optional set of annotations, the system generates textual narratives that are interactively linked to the chart and can be further edited by authors.

実験結果

リサーチクエスチョン

• RQ1 LLMsをどのように効果的に活用することで、ユーザーの物語的意図と整合する形でデータドリブンな記事作成を支援できるか？
• RQ2 プロフェッショナルな現場において、データ可視化と結びつけた物語を生成するLLMsの利点と課題は何か？
• RQ3 チャート操作とユーザーのアノテーションは、LLMが生成する物語の質と関連性にどのように影響するか？
• RQ4 幻覚現象、バイアス、誤情報といったリスクを低減するための設計的特徴は何か？
• RQ5 LLMsを既存のデータリテラシーと事実確認の実践とどのように統合し、責任ある記事作成を支援できるか？

主な発見

• 参加者たちは、物語生成をガイドするためのチャート操作とアノテーションを活用したLLM支援型データストーリーティングの概念に価値を見いだした。
• このシステムは、アイデアの発想やドラフト作成において役立つと評価され、特に初期段階の物語開発における認知的負荷の軽減に効果的であった。
• 多くの参加者が、生成された物語が冗長であると報告し、読みやすく、レビューしにくいと感じ、要約を簡潔にした箇条書き形式にすることが求められた。
• 顕著な幻覚現象や事実誤認が観察された。たとえば、誤った推論やラベル付けが行われており、外部検証と出典の記載の必要性が強調された。
• 参加者たちは、データに由来する記述とLLMが独自に生成した内容を区別することが重要であると強調し、出典を示すために色分けなどの視覚的インジケータを提案した。
• 外部データセットの推薦、比較、フォローアップの質問を提示する機能に強い関心が示された。これらは探索的分析を拡張し、より深い洞察の発見を支援するものである。

Figure 2: Example of an incorrect statement generated by the LLM (contrary to the text, the chart shows that Florida does not have a higher number of people over the age of 80 compared to California). The text $\rightarrow$ chart linking feature helps verify the statement and identify the erroneous