[논문 리뷰] InsightLens: Augmenting LLM-Powered Data Analysis with Interactive Insight Management and Navigation

Luoxuan Weng, Xingbo Wang외 6명|arXiv (Cornell University)|2024. 04. 02.

Semantic Web and Ontologies인용 수 5

한 줄 요약

InsightLens는 LLM-powered 데이터 분석에서 인사이트를 자동으로 추출, 정리 및 시각화하는 다중 에이전트 프레임워크를 제시하여 대화 맥락에서 효율적인 발견과 탐색을 가능하게 한다.

ABSTRACT

The proliferation of large language models (LLMs) has revolutionized the capabilities of natural language interfaces (NLIs) for data analysis. LLMs can perform multi-step and complex reasoning to generate data insights based on users' analytic intents. However, these insights often entangle with an abundance of contexts in analytic conversations such as code, visualizations, and natural language explanations. This hinders efficient recording, organization, and navigation of insights within the current chat-based LLM interfaces. In this paper, we first conduct a formative study with eight data analysts to understand their general workflow and pain points of insight management during LLM-powered data analysis. Accordingly, we introduce InsightLens, an interactive system to overcome such challenges. Built upon an LLM-agent-based framework that automates insight recording and organization along with the analysis process, InsightLens visualizes the complex conversational contexts from multiple aspects to facilitate insight navigation. A user study with twelve data analysts demonstrates the effectiveness of InsightLens, showing that it significantly reduces users' manual and cognitive effort without disrupting their conversational data analysis workflow, leading to a more efficient analysis experience.

연구 동기 및 목표

• 경험 많은 데이터 분석가들로부터 LLM-powered 데이터 분석의 워크플로우 상의 도전과제와 문제점을 식별한다.
• 인사이트와 이를 뒷받침하는 근거를 추출, 연관화 및 정리하는 자동적 다중 에이전트 프레임워크를 제안한다.
• 다단계 인사이트 탐색을 촉진하기 위한 대화형 시각화(Insight Minimap, Topic Canvas)를 개발한다.
• 분석 워크플로를 방해하지 않으면서 시스템이 수동 및 인지적 노력을 줄이는지 평가한다.

제안 방법

• 8명의 experienced data analysts와의 형성적 연구를 통해 문제점과 설계 요구사항을 식별한다.
• LLMs와 in-context memory를 갖춘 DS Agent, IE Agent, IM Agent로 구성된 다중 에이전트 프레임워크를 제안하여 인사이트의 의도 파악, 추출, 연관화 및 정리를 처리한다.
• DS Agent에서 단계별 추론과 행동 계획을 위해 ReAct 패러다임을 사용한다.
• IE Agent가 대화를 모니터링하여 인사이트를 추출하고 증거를 연관시키며 의미적·통계적 지표를 사용해 흥미도를 평가한다.
• IM Agent가 새로운 주제 분류 방법과 유사성 검사을 사용하여 데이터 속성 및 분석 주제별로 인사이트를 정리한다.
• 탐색을 방해하지 않는 비간섭 UI와 함께 다단계 시각화(Insight Minimap, Topic Canvas)를 제공한다.

Figure 1 : \name consists of (A) a user interface and (B) a multi-agent framework. Users (A1) upload a dataset and specify their analytic intent. The Data Science (DS) Agent (B1) interprets the intent, initiating a conversation cycle that is forwarded to the Insight Extraction (IE) Agent (B2) for in

실험 결과

연구 질문

• RQ1 LLM-powered 데이터 분석 대화에서 인사이트를 발견하고 탐색할 때 분석가가 직면하는 도전과제는 무엇인가?
• RQ2 자동화된 다중 에이전트 프레임워크가 인사이트의 추출, 연관화 및 정리를 뒷받침하는 증거와 함께 개선할 수 있는가?
• RQ3 대화형 시각화가 데이터 속성 및 분석 주제에 걸쳐 사용자의 인사이트 탐색 효율을 높이는가?
• RQ4 InsightLens가 대화형 워크플로를 보존하면서 수동 및 인지적 노력을 줄이는가?

주요 결과

• 시스템은 인사이트 추출과 연관화를 자동화하여 길어지는 LLM 대화를 다루는 수동 작업을 줄인다.
• 데이터 기반 및 주제 기반 분류를 통해 인사이트 조직이 개선되어 지루한 수동 태깅을 완화한다.
• 새로운 시각화(Inisght Minimap, Topic Canvas)를 통해 다층적·다면적 탐색이 온디맨드 상세 정보와 함께 지원된다.
• 사용자 연구는 InsightLens가 분석 워크플로를 방해하지 않으면서 수동 및 인지적 노력을 크게 낮춘다고 시사한다.
• 기술 평가에서 인사이트를 추출, 연관화 및 정리하는 다중 에이전트 프레임워크의 우수한 성능이 나타났다.

Figure 2 : The user interface of \name consists of five views. The Chat Window (A) enables conversational interactions between users and LLMs. The Insight Details (B) displays the currently focused insight’s summary with its relevant data context and supporting evidence. The Insight Gallery (C) pres