[논문 리뷰] Data Analysis in the Era of Generative AI

Jeevana Priya Inala, Chenglong Wang외 7명|arXiv (Cornell University)|2024. 09. 27.

Evolutionary Algorithms and Applications인용 수 4

한 줄 요약

이 논문은 비전문가가 프로그래밍과 전문 도구에 의존하지 않고 자연어 및 다중모odal 상호작용을 통해 데이터 분석의 통찰을 도출할 수 있도록 하는 생성형 AI의 잠재력을 탐구한다. 인간 중심의 설계를 강조하며, 사용자 의도를 실행 가능한 코드, 시각화, 통찰으로 번역하는 AI 보조 워크플로우를 제안함으로써 신뢰성, 사용성, 도구 간 협업을 향상시킨다.

ABSTRACT

This paper explores the potential of AI-powered tools to reshape data analysis, focusing on design considerations and challenges. We explore how the emergence of large language and multimodal models offers new opportunities to enhance various stages of data analysis workflow by translating high-level user intentions into executable code, charts, and insights. We then examine human-centered design principles that facilitate intuitive interactions, build user trust, and streamline the AI-assisted analysis workflow across multiple apps. Finally, we discuss the research challenges that impede the development of these AI-based systems such as enhancing model capabilities, evaluating and benchmarking, and understanding end-user needs.

연구 동기 및 목표

• 비전문가 사용자가 자연어 쿼리를 실행 가능한 통찰으로 번역함으로써 데이터 분석의 장벽을 낮추는 방법을 탐구하기 위해.
• 사용자 신뢰를 향상시키고, 다중 도구 워크플로우를 간소화하며, 반복적이고 탐색적인 데이터 분석을 지원하는 설계 원칙을 식별하기 위해.
• AI 상호작용 모odal리티, 자율성 수준, 개인화에 대한 사용자 선호도에 대한 이해 부족을 메우기 위해.
• 모델의 견고성, 평가 기준, 고품질로 접근 가능한 데이터 테이블을 위한 인프라 분야에서의 임상적 연구 과제를 부각하기 위해.
• 다양한 사용자 전문성과 변화하는 분석 요구에 맞는 AI 도구 개발을 이끄는 데 기여하기 위해 종합적인 사용자 연구를 촉구하기 위해.

제안 방법

• 대규모 언어 및 다중모달 모델(GPT-4, GPT-4o, Phi-3 등)을 활용하여 자연어 및 시각 입력을 해석하고 실행 가능한 코드, 차트, 통찰을 생성하기 위해.
• 반복적이고 사용자 중심의 분석 워크플로우를 지원하기 위해 자연어, 시각적 위젯, 코드를 융합한 상호작용형 다중모달 인터페이스를 설계하기 위해.
• 데이터 정제, 시각화, 보고서 작성 등 여러 응용 프로그램 간에 AI 보조 기능을 통합하여 도구 전환을 줄이고 맥락의 연속성을 유지하기 위해.
• 모달리티 선택(GUI + 자연어), AI 자율성 수준, 피드백 메커니즘 등을 포함한 사용자 상호작용 최적화를 위한 인간 중심 설계 원칙을 적용하기 위해.
• 모델의 계획 수립, 추론 능력, 견고성 향상을 유도하기 위해 다단계, 다중모달 데이터 분석 시나리오를 벤치마크로 활용하기 위해.
• 웹 및 기업 자료에서 고품질 데이터 테이블을 색인, 순위 매기기, 검색할 수 있는 인프라를 개발하여 AI 기반 분석 제안을 지원하기 위해.

Figure 1: Overview of steps involved in deriving insights from data, highlighting the diverse skills required for these steps. We explicitly exclude any steps related to building/using models in this paper.

실험 결과

연구 질문

• RQ1 생성형 AI 시스템은 자연어로 표현된 고수준 사용자 의도를 실행 가능한 데이터 분석 단계(코드 및 시각화 포함)로 효과적으로 번역할 수 있는가?
• RQ2 사용자 이해, 제어, 신뢰성 향상에 가장 기여하는 상호작용 모달리티는 무엇인가? (예: GUI + 자연어 대비 채팅 기반)
• RQ3 AI 도구는 사용자 전문성 수준과 변화하는 분석 목표를 고려하여 인지 부하를 증가시키지 않고 적응할 수 있는가?
• RQ4 다양한 응용 프로그램에서 AI 출력의 제어와 검증을 지원하는 데 가장 효과적인 설계 패턴 및 인터페이스 구성 요소(예: AI 생성 위젯)는 무엇인가?
• RQ5 AI 기반 분석 제안을 위한 신뢰성 있고 최신 상태이며 개인정보 보호 규정을 준수하는 데이터 테이블을 제공하기 위해 데이터 인프라는 어떻게 개선되어야 하는가?

주요 결과

• 사용자들은 순수한 채팅 기반 보조자보다 GUI와 자연어를 융합한 하이브리드 상호작용 모델을 선호하며, 이는 더 나은 의도 명시와 제약 조건 설정을 가능하게 한다.
• AI가 생성한 상호작용 가능한 위젯(예: 필터링 또는 파라미터 조정용)은 직접적인 AI 실행보다 효과적이며, 사용자 제어를 가능하게 하고 인지 부하를 감소시킨다.
• 사용자들이 AI 제안에 대한 반응은 통계 전문성 수준에 따라 크게 다름: 일부는 유용하다고 평가하지만, 다른 이들은 너무 기본적이거나 해석하기 어려운 것으로 느낀다.
• 사용자는 AI가 생성한 분석 단계를 검증하고 이해하기 위해 절차적 자료(예: 코드, 설명)와 데이터 자료(예: 중간 테이블, 시각화)를 모두 필요로 한다.
• 사용자는 LLM에 제공된 맥락에 대한 투명성과 제어를 중시하며, 부적절하거나 잘못된 AI 사용을 경고하는 '리터와 유사한' 보조자를 선호한다.
• 지속적인 변화 없이도 사용자 이력에 맞게 적응하는 동적이고 다중 애플리케이션 간 AI 조율 및 개인화된 UI가 여전히 필수적이다.

Figure 2: User experience for providing inputs and output formats with ChatGPT vs Data Formulator ( Wang et al. , 2023a )