[论文解读] InsightLens: Augmenting LLM-Powered Data Analysis with Interactive Insight Management and Navigation

Luoxuan Weng, Xingbo Wang+6 more|arXiv (Cornell University)|Apr 2, 2024

Semantic Web and Ontologies被引用 5

一句话总结

InsightLens 提供一个多代理框架，能够自动提取、整理并可视化来自 LLM 驱动的数据分析中的洞见，在对话语境中实现高效的发现与探索。

ABSTRACT

The proliferation of large language models (LLMs) has revolutionized the capabilities of natural language interfaces (NLIs) for data analysis. LLMs can perform multi-step and complex reasoning to generate data insights based on users' analytic intents. However, these insights often entangle with an abundance of contexts in analytic conversations such as code, visualizations, and natural language explanations. This hinders efficient recording, organization, and navigation of insights within the current chat-based LLM interfaces. In this paper, we first conduct a formative study with eight data analysts to understand their general workflow and pain points of insight management during LLM-powered data analysis. Accordingly, we introduce InsightLens, an interactive system to overcome such challenges. Built upon an LLM-agent-based framework that automates insight recording and organization along with the analysis process, InsightLens visualizes the complex conversational contexts from multiple aspects to facilitate insight navigation. A user study with twelve data analysts demonstrates the effectiveness of InsightLens, showing that it significantly reduces users' manual and cognitive effort without disrupting their conversational data analysis workflow, leading to a more efficient analysis experience.

研究动机与目标

• 识别经验丰富的数据分析师在 LLM 驱动的数据分析中的工作流挑战和痛点。
• 提出一个自动化的多代理框架，以提取、关联和组织洞见及相关证据。
• 开发交互式可视化工具（Insight Minimap，Topic Canvas）以促进多层次洞见探索。
• 评估系统是否在不干扰分析工作流程的前提下，降低手动和认知成本。

提出的方法

• 对八位经验丰富的数据分析师进行形成性研究，以识别痛点和设计需求。
• 提出一个由 LLMs 驱动、具上下文记忆的多代理框架（DS Agent, IE Agent, IM Agent），用于处理洞见的意图、提取、关联和组织。
• 在 DS Agent 中使用 ReAct 范式进行逐步推理和行动规划。
• IE Agent 监控对话以提取洞见、关联证据，并使用语义和统计度量评估有趣性。
• IM Agent 使用新颖的主题分类方法和相似性检查，按数据属性和分析主题对洞见进行组织。
• 提供多级可视化（Insight Minimap、Topic Canvas）和不引人注意的用户界面，以在不干扰工作流程的情况下支持探索。

Figure 1 : \name consists of (A) a user interface and (B) a multi-agent framework. Users (A1) upload a dataset and specify their analytic intent. The Data Science (DS) Agent (B1) interprets the intent, initiating a conversation cycle that is forwarded to the Insight Extraction (IE) Agent (B2) for in

实验结果

研究问题

• RQ1 在 LLM 驱动的数据分析对话中，分析师在发现和探索洞见时面临哪些挑战？
• RQ2 自动化的多代理框架是否能够在有证据支持的情况下改进洞见的提取、关联和组织？
• RQ3 交互式可视化是否帮助用户在数据属性和分析主题之间更高效地探索洞见？
• RQ4 InsightLens 是否在保持对话工作流程的前提下降低手动和认知成本？

主要发现

• 该系统实现洞见的提取与关联的自动化，减少处理冗长 LLM 对话的手动工作量。
• 通过基于数据属性和主题的分类来改善洞见的组织，缓解繁琐的手动标注。
• 通过新视觉元素（Insight Minimap、Topic Canvas）提供多级、多方面的探索，并支持按需详情。
• 用户研究表明，InsightLens 在不干扰分析工作流程的前提下显著降低了手动和认知成本。
• 技术评估显示多代理框架在提取、关联和组织洞见方面表现令人满意。

Figure 2 : The user interface of \name consists of five views. The Chat Window (A) enables conversational interactions between users and LLMs. The Insight Details (B) displays the currently focused insight’s summary with its relevant data context and supporting evidence. The Insight Gallery (C) pres