[論文レビュー] InsightLens: Augmenting LLM-Powered Data Analysis with Interactive Insight Management and Navigation

Luoxuan Weng, Xingbo Wang+6 more|arXiv (Cornell University)|Apr 2, 2024

Semantic Web and Ontologies被引用数 5

ひとこと要約

InsightLens は、LLM 搭載データ分析からの洞察を自動で抽出、整理、可視化するマルチエージェント フレームワークを提示し、対話型の文脈内での効果的な発見と探索を可能にします。

ABSTRACT

The proliferation of large language models (LLMs) has revolutionized the capabilities of natural language interfaces (NLIs) for data analysis. LLMs can perform multi-step and complex reasoning to generate data insights based on users' analytic intents. However, these insights often entangle with an abundance of contexts in analytic conversations such as code, visualizations, and natural language explanations. This hinders efficient recording, organization, and navigation of insights within the current chat-based LLM interfaces. In this paper, we first conduct a formative study with eight data analysts to understand their general workflow and pain points of insight management during LLM-powered data analysis. Accordingly, we introduce InsightLens, an interactive system to overcome such challenges. Built upon an LLM-agent-based framework that automates insight recording and organization along with the analysis process, InsightLens visualizes the complex conversational contexts from multiple aspects to facilitate insight navigation. A user study with twelve data analysts demonstrates the effectiveness of InsightLens, showing that it significantly reduces users' manual and cognitive effort without disrupting their conversational data analysis workflow, leading to a more efficient analysis experience.

研究の動機と目的

• 経験豊富なデータアナリストから、LLM搭載データ分析のワークフローの課題と痛点を特定する。
• 自動的なマルチエージェント フレームワークを提案し、洞察と supporting evidence を抽出、関連付け、整理する。
• インタラクティブなビジュアライゼーション（Insight Minimap、Topic Canvas）を開発し、多層的な洞察の探査を促進する。
• システムが分析ワークフローを乱さず、手動作業と認知的負荷を低減するか評価する。

提案手法

• 8名の経験豊富なデータアナリストを対象とした形成的研究で痛点と設計要件を特定。
• DS Agent, IE Agent, IM Agent からなるマルチエージェント フレームワークを、インコンテキストメモリを備えたLLMs で intent, extraction, association, organization of insights を処理するよう提案。
• DS Agent で段階的推論と行動計画のために ReAct パラダイムを使用。
• IE Agent は会話を監視して洞察を抽出し、証拠を関連付け、意味論的・統計的手法を用いて興味深さを評価。
• IM Agent は novel topic classification method と similarity checks を用いてデータ属性と分析トピックごとに洞察を整理。
• インサイトの探査を支援するため、マルチレベルのビジュアル（Insight Minimap、Topic Canvas）とWorkflowを乱さない UI を提供。

Figure 1 : \name consists of (A) a user interface and (B) a multi-agent framework. Users (A1) upload a dataset and specify their analytic intent. The Data Science (DS) Agent (B1) interprets the intent, initiating a conversation cycle that is forwarded to the Insight Extraction (IE) Agent (B2) for in

実験結果

リサーチクエスチョン

• RQ1 LLM搭載データ分析の対話でアナリストが洞察を発見・探査する際の課題は何か。
• RQ2 自動化されたマルチエージェント フレームワークは、洞察と supporting evidence の抽出・関連付け・整理を改善できるか。
• RQ3 インタラクティブなビジュアライゼーションは、データ属性と分析トピックを横断して洞察をより効率的に探索するのに役立つか。
• RQ4 InsightLens は手動作業と認知的負荷を低減しつつ、対話的なワークフローを維持できるか。

主な発見

• システムは洞察の抽出と関連付けを自動化し、長いLLM会話の取り扱いにおける手動作業を削減する。
• データ属性およびトピックベースの分類によって洞察の整理が改善され、面倒な手動タグ付けを緩和。
• 新しいビジュアル（Insight Minimap、Topic Canvas）とオンデマンドの詳細表示により、マルチレベル・多面的な探査をサポート。
• ユーザースタディは、分析ワークフローを乱さずに、手動作業と認知的負荷を大幅に低減することを示した。
• 技術評価は、洞察の抽出・関連付け・整理におけるマルチエージェント フレームワークの性能を満足水準と示した。

Figure 2 : The user interface of \name consists of five views. The Chat Window (A) enables conversational interactions between users and LLMs. The Insight Details (B) displays the currently focused insight’s summary with its relevant data context and supporting evidence. The Insight Gallery (C) pres