[논문 리뷰] How Do Data Analysts Respond to AI Assistance? A Wizard-of-Oz Study

Ken Gu, Madeleine Grunde-McLaughlin외 3명|arXiv (Cornell University)|2023. 09. 18.

Mobile Crowdsensing and CrowdsourcingComputer Science인용 수 3

한 줄 요약

이 연구는 13명의 숙련된 분석가를 대상으로 한 와이즈맨 오브 오즈 실험을 통해 데이터 분석 과정에서 AI 보조 계획 수립에 대한 데이터 분석가들의 반응을 조사한다. 맥락적이고 목표에 부합하는 계획 제안, 특히 다른 모델이나 근거를 고려해 보는 것을 유도하는 제안이 분석의 강건성을 크게 향상시키지만, 효과성은 시기, 표현 방식, 신뢰 구축 메커니즘에 크게 의존하며, 향후 데이터 과학 워크플로우에서 AI 보조 도구의 설계 원칙을 부각시킨다.

ABSTRACT

Data analysis is challenging as analysts must navigate nuanced decisions that may yield divergent conclusions. AI assistants have the potential to support analysts in planning their analyses, enabling more robust decision making. Though AI-based assistants that target code execution (e.g., Github Copilot) have received significant attention, limited research addresses assistance for both analysis execution and planning. In this work, we characterize helpful planning suggestions and their impacts on analysts' workflows. We first review the analysis planning literature and crowd-sourced analysis studies to categorize suggestion content. We then conduct a Wizard-of-Oz study (n=13) to observe analysts' preferences and reactions to planning assistance in a realistic scenario. Our findings highlight subtleties in contextual factors that impact suggestion helpfulness, emphasizing design implications for supporting different abstractions of assistance, forms of initiative, increased engagement, and alignment of goals between analysts and assistants.

연구 동기 및 목표

• 실제 데이터 분석 작업 중 데이터 분석가가 AI가 생성한 계획 제안에 어떻게 반응하는지 이해한다.
• 어떤 유형의 계획 제안이 어떤 맥락 조건에서 가장 유용하게 여겨지는지 특정한다.
• 보조 도구의 주도성, 목표 일치도, 참여도가 분석가의 신뢰 형성과 AI 보조 도구 수용에 미치는 영향을 조사한다.
• 코드 실행을 넘어서는 분석 계획 지원의 격차를 메우기 위해, 실행 가능한 제안 내용과 설계 원칙을 특성화한다.
• 기존 데이터 분석 워크플로우에 계획 지원을 통합하는 가능성과 영향을 탐색하여 강건성 향상과 임의의 의사결정 감소를 도모한다.

제안 방법

• 실제 데이터셋을 사용하여 실제 환경에서 AI 보조 분석을 시뮬레이션한 실내 실험실 환경에서 13명의 숙련된 데이터 분석가를 대상으로 와이즈맨 오브 오즈 실험을 수행하였다.
• 문헌 기반의 제안 내용 유형 카테고리에 기반한 맥락 인식 기반의 계획 제안을 생성하는 맞춤형 보조 도구 인터페이스를 설계하였다.
• 자연스러운 분석가 행동과 피드백을 유도하기 위해 데이터 정제, 모델링, 추론을 포함한 반구조화된 작업을 수행하였다.
• 분석가가 시뮬레이션된 AI 보조 도구와 상호작용하면서 제안 수용도, 신뢰도, 워크플로우 변화에 대한 정성적 및 관찰 데이터를 수집하였다.
• 분석 계획 문헌과 커뮤니티 기반 연구를 바탕으로 행동 중심 접근 방식을 활용해 제안 유형을 분류하였다.
• 재현 가능성 향상과 향후 데이터 과학 도구에 계획 지원을 통합하기 위해 오픈소스 보조 도구 인터페이스를 구현하였다.

Figure 1. Execution and planning assistance during data analysis . During an ongoing analysis (current step shown by the analyst icon), analysts may be focusing on the execution of an analysis decision (left) or planning their next decisions (right). During execution, analysts have a clear intent of

실험 결과

연구 질문

• RQ1 실제 분석 워크플로우에서 데이터 분석가들이 어떤 유형의 계획 제안을 가장 유용하게 느끼는가?
• RQ2 시기, 표현 방식, 목표 일치도와 같은 맥락적 요인이 AI가 생성한 계획 제안에 대한 분석가의 수용도에 어떻게 영향을 미치는가?
• RQ3 보조 도구의 주도성이 분석가의 참여도와 AI 보조 계획에 대한 신뢰 형성에 어떤 역할을 하는가?
• RQ4 분석가들은 AI 제안에 얼마나 의존하면서도 자신의 분석적 판단과 전문 지식을 어떻게 균형 있게 유지하는가?
• RQ5 AI 지원이 분석가가 다양한 분석 접근 방식을 식별하고 평가하는 데 어떻게 기여하여 강건성을 향상시킬 수 있는가?

주요 결과

• 분석가들은 다른 모델, 근거 또는 가정을 고려해 보는 것을 유도하는 계획 제안, 특히 간과된 분석적 트레이드오���을 드러내는 제안을 매우 유용하게 평가했다.
• 제안의 유용성은 시기, 표현 방식, 분석가의 현재 분석 목표와의 일치도와 같은 맥락적 요인에 의해 크게 영향을 받았으며, 잘못된 시기나 목표에서 벗어난 제안은 신뢰를 떨어뜨렸다.
• 분석가들은 보조 도구가 목표에 부합한다고 느끼고, 단순히 코드 생성을 넘어서 깊이 있는 사고를 유도하는 제안일 경우 더 많이 참여했다.
• 통계 및 프로그래밍 능력이 높은 분석가들이라도 보조 도구가 강조한 의사결정 포인트를 인식하거나 고려하지 못하는 경우가 많았으며, 이는 더 직관적이고 능동적인 계획 지원의 필요성을 시사한다.
• 제안이 권위적인 것으로 프레임된 경우 과도한 의존 위험이 드러났으며, 이는 비판적 평가와 투명성을 장려하는 설계 메커니즘이 필요함을 강조한다.
• 가장 효과적인 제안은 행동을 단순히 추천하는 것이 아니라, 분석가가 여러 모델링 접근 방식을 고려하도록 유도하는 사고 지원 기능을 제공하는 것이었다.

Figure 2. Planning assistance has limited support and is unexplored . Existing assistants, such as Github Copilot, are well-suited for execution assistance, such as suggesting data wrangling or modeling code.