[논문 리뷰] Conversational AI Threads for Visualizing Multidimensional Datasets

Matt-Heun Hong, Anamaria Crisan|arXiv (Cornell University)|2023. 11. 09.

AI in Service Interactions인용 수 4

한 줄 요약

이 논문은 사용자가 동시에 여러 분석 대화를 관리할 수 있도록 해주는 다중 스레드 대화형 AI 시스템인 AI Threads를 소개한다. 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 시각화의 동적이고 맥락 인식형 정교화를 지원함으로써, 복잡한 분석 대화에서 사용성과 일관성이 향상됨을 보여준다. 다만 환영( hallucinations)과 맥락 이탈 등의 과제는 여전히 남아 있다.

ABSTRACT

Generative Large Language Models (LLMs) show potential in data analysis, yet their full capabilities remain uncharted. Our work explores the capabilities of LLMs for creating and refining visualizations via conversational interfaces. We used an LLM to conduct a re-analysis of a prior Wizard-of-Oz study examining the use of chatbots for conducting visual analysis. We surfaced the strengths and weaknesses of LLM-driven analytic chatbots, finding that they fell short in supporting progressive visualization refinements. From these findings, we developed AI Threads, a multi-threaded analytic chatbot that enables analysts to proactively manage conversational context and improve the efficacy of its outputs. We evaluate its usability through a crowdsourced study (n=40) and in-depth interviews with expert analysts (n=10). We further demonstrate the capabilities of AI Threads on a dataset outside the LLM's training corpus. Our findings show the potential of LLMs while also surfacing challenges and fruitful avenues for future research.

연구 동기 및 목표

• LLMs가 시각적 데이터 분석 중 대화 맥락이 변화할 때 어떻게 대응하는지 조사하기 위해.
• 단일 스레드 챗봇이 점진적인 시각화 정교화를 관리하는 데에 한계를 가지는 문제를 해결하기 위해.
• 맥락 관리와 분석 일관성을 향상시키는 다중 스레드 대화 인터페이스를 설계하고 평가하기 위해.
• 실제 데이터 분석 작업에서 LLM 기반 챗봇의 사용성과 신뢰성 평가하기 위해.
• AI 기반 시각적 분석 도구의 핵심 과제와 향후 방향성 규명하기 위해.

제안 방법

• 이전의 Wizard-of-Oz 연구를 재분석하여 LLM 행동 평가에 필요한 대화 맥락 이탈과 기준 참값을 추출하였다.
• 사용자가 별도의 스레드를 만들어 서로 다른 분석 작업을 수행할 수 있도록 하는 다중 스레드 챗봇 인터페이스인 AI Threads를 설계하였다.
• 사용자의 자연어 질의에 대응하여 텍스트 응답과 시각화 코드를 모두 생성하는 LLM을 AI 에이전트로 통합하였다.
• 스레드별 맥락 관리 기능을 구현하여 사용자가 분석의 서로 다른 측면을 고립하고 정교화할 수 있도록 하였다.
• 사용성, 정확도, 사용자 인식 평가를 위해 40명의 커뮤니티 기반 연구와 10명의 전문가 인터뷰를 병행하였다.
• 일반화 능력을 테스트하기 위해 LLM의 훈련 분포 내에 있는 타이타닉 데이터셋과 외부 데이터셋(훈련 데이터 외)을 사용하여 시스템을 평가하였다.

Figure 1. Excerpts of participants’ analytic conversations with AI Threads. We show participant conversations in threads modifying the visual encoding (E03, E04, P40), as well as for sequential (E07) and individual (P32) utterances. Excerpts were derived from participants in crowd-sourced (P#) and i

실험 결과

연구 질문

• RQ1 LLMs는 시각적 데이터 분석 중 점진적인 시각화 정교화 과정에서 대화 맥락을 얼마나 잘 유지하는가?
• RQ2 단일 스레드 LLM 챗봇은 복잡한 분석 대화를 지원하는 데에 어떤 강점과 한계를 가지는가?
• RQ3 다중 스레드 대화 관리 방식은 AI 기반 시각적 분석 도구의 사용성과 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 사용자는 LLM 기반 챗봇이 텍스트 생성과 시각화 생성을 동시에 지원할 때 어떻게 인터랙션하고 인식하는가?
• RQ5 LLMs를 사용한 데이터 분석에서 발생하는 과제—특히 환영과 맥락 이탈—는 무엇이며, 어떻게 완화할 수 있는가?

주요 결과

• AI Threads는 자연어를 통해 시각화 생성과 정교화에 강력한 능력을 보였으며, 속성 추가/제거, 인코딩 유형 변경 등의 연산을 지원하였다.
• 커뮤니티 기반 연구 참가자(n=40)는 AI Threads에 대해 긍정적인 평가를 내렸으며, 시각 분석 작업에서 높은 사용성과 유용성을 인식하였다.
• 전문 분석가(n=10)는 AI Threads가 더 풍부하고 민첩한 분석 대화를 가능하게 하지만, 대화 흐름과 근거 추적에 대한 더 나은 제어가 필요하다고 확인하였다.
• 전반적인 정확성은 유지되었지만, 비명백한 오류가 발생하여 잘못된 데이터 수정(P40 등)과 오해의 소지가 있는 설명(P35 등)이 나타나 환영 위험의 지속성을 확인하였다.
• 타이타닉 데이터셋(훈련 분포 내)에서는 성능이 뛰어났지만, 분포 외 데이터셋에 대한 일반화 능력은 여전히 과제로 남아 있다.
• 다중 스레드 아키텍처는 단일 스레드 대비 맥락 관리 능력이 뚜렷이 향상되어 사용자가 복잡한 분석을 더 효과적으로 구성할 수 있도록 하였다.

Figure 2. Comparison for visualization produced between the WoZ study and different systems. Progressive utterances for modifying an initial visual encoding (top row) by different systems. Black boxes around the visualization indicate the creation of a new visualization—a failure to apply a progress