[論文レビュー] Data Analysis in the Era of Generative AI

Jeevana Priya Inala, Chenglong Wang+7 more|arXiv (Cornell University)|Sep 27, 2024

Evolutionary Algorithms and Applications被引用数 4

ひとこと要約

本論文は、生成AIが自然言語およびマルチモーダルインタラクションを通じて非専門家がインサイトを抽出できるようにすることで、データ分析のあり方を変革する可能性を調査している。これにより、コーディングや専門的ツールへの依存が軽減される。本論文では、高レベルのユーザーの意図を実行可能コード、可視化、インサイトに変換するAI支援ワークフローを提案し、信頼性、使いやすさ、複数ツール間の協働性を高める人間中心の設計を重視している。

ABSTRACT

This paper explores the potential of AI-powered tools to reshape data analysis, focusing on design considerations and challenges. We explore how the emergence of large language and multimodal models offers new opportunities to enhance various stages of data analysis workflow by translating high-level user intentions into executable code, charts, and insights. We then examine human-centered design principles that facilitate intuitive interactions, build user trust, and streamline the AI-assisted analysis workflow across multiple apps. Finally, we discuss the research challenges that impede the development of these AI-based systems such as enhancing model capabilities, evaluating and benchmarking, and understanding end-user needs.

研究の動機と目的

• 自然言語クエリを実行可能なインサイトに変換することで、非専門家ユーザーがデータ分析の障壁を下げる仕組みを調査すること。
• ユーザーの信頼を高め、複数ツール間のワークフローを簡素化し、反復的・探索的データ分析を支援する設計原則を特定すること。
• AI支援データ分析におけるインタラクションモダリティ、自律性レベル、パーソナライゼーションのユーザー好みの理解のギャップを解消すること。
• モデルの頑健性、評価ベンチマーク、高品質でアクセス可能なデータテーブルのインfraストラクチャに関する、重要な研究課題を浮き彫りにすること。
• 多様なユーザーの専門性と変化する分析ニーズに適合したAIツールの開発を導くために、包括的なユーザースタディを推進すること。

提案手法

• 自然言語および視覚的入力を解釈し、実行可能コード、チャート、インサイトを生成する大規模言語モデルおよびマルチモーダルモデル（例：GPT-4、GPT-4o、Phi-3）を活用すること。
• 自然言語、視覚的ウィジェット、コードを統合したインタラクティブでマルチモーダルなインターフェースを設計し、反復的でユーザーが関与する分析ワークフローを支援すること。
• データクリーニング、可視化、レポート作成などの複数のアプリケーションにAI支援を統合し、ツール切り替えを減らし、コンテキストの継続性を維持すること。
• モダリティ選択（GUI + NL）、AIの自律性レベル、フィードバックメカニズムを最適化する人間中心の設計原則を適用すること。
• モデルの計画力、推論力、頑健性の向上を促進するために、ステップバイステップでマルチモーダルなデータ分析シナリオをベンチマークとして提案すること。
• Webおよびエンタープライズソースからの高品質なデータテーブルのインdex化、ランク付け、検索を可能にするインfraストラクチャを構築し、AI駆動の分析提案を支援すること。

Figure 1: Overview of steps involved in deriving insights from data, highlighting the diverse skills required for these steps. We explicitly exclude any steps related to building/using models in this paper.

実験結果

リサーチクエスチョン

• RQ1 生成AIシステムは、コードや可視化を含め、高レベルのユーザーの意図を実行可能なデータ分析ステップに効果的に変換できるか？
• RQ2 ユーザーの理解、制御、信頼性を高めるために、どのインタラクションモダリティ（例：GUI + 自然言語対比チャットベース）がAI支援データ分析に最適か？
• RQ3 AIツールは、認知的負荷を増加させることなく、ユーザーの専門性レベルや変化する分析目的に適応できるか？
• RQ4 複数のアプリケーションにまたがるAI出力の制御と検証を支援する最適なデザインパターンやインターフェースコンポーネント（例：AI生成ウィジェット）は何か？
• RQ5 AI駆動の分析提案に適した、信頼性があり最新でプライバシーに配慮したデータテーブルを提供するためのデータインfraストラクチャは、どのように強化できるか？

主な発見

• ユーザーは、純粋なチャットベースのアシスタントよりも、GUIと自然言語を組み合わせたハイブリッドインタラクションモデルを好む。これは、意図の明確化と制約の提示に優れているためである。
• フィルタリングやパrameter調整用のAI生成インタラクティブウィジェットは、直接的なAI実行よりも効果的である。ユーザーの制御を可能にし、認知的負荷を軽減する。
• ユーザーがAIの提案に反応する態度は、統計的専門性に大きく依存する。一部のユーザーは役立つと感じるが、他のユーザーは単純すぎると感じたり、解釈が難しいと感じる。
• ユーザーは、AI生成された分析ステップを検証し理解するために、手順的アーティファクト（例：コード、説明）とデータ的アーティファクト（例：中間テーブル、可視化）の両方を必要としている。
• ユーザーは、LLMに与えられるコンテキストに対する透明性と制御を重視し、「リンター風」のアシスタント（不適切または誤ったAI使用を警告するもの）を好む。
• 動的で複数アプリケーションにまたがるAI連携と、ユーザー履歴に適応するパーソナライズドUIの開発が、頻繁で破壊的な変更を伴わずに、依然として極めて重要である。

Figure 2: User experience for providing inputs and output formats with ChatGPT vs Data Formulator ( Wang et al. , 2023a )