[论文解读] How Do Data Analysts Respond to AI Assistance? A Wizard-of-Oz Study

Ken Gu, Madeleine Grunde-McLaughlin+3 more|arXiv (Cornell University)|Sep 18, 2023

Mobile Crowdsensing and CrowdsourcingComputer Science被引用 3

一句话总结

本研究通过一项包含13名资深数据分析师的Wizard-of-Oz实验，调查了数据分析师在数据分析过程中对AI辅助规划的响应方式。研究发现，上下文相关且与目标对齐的规划建议——尤其是那些促使反思替代模型或推理逻辑的建议——能显著提升分析的稳健性，但其有效性在很大程度上取决于时机、表达方式和信任建立机制，凸显了未来数据科学工作流中AI助手设计的关键原则。

ABSTRACT

Data analysis is challenging as analysts must navigate nuanced decisions that may yield divergent conclusions. AI assistants have the potential to support analysts in planning their analyses, enabling more robust decision making. Though AI-based assistants that target code execution (e.g., Github Copilot) have received significant attention, limited research addresses assistance for both analysis execution and planning. In this work, we characterize helpful planning suggestions and their impacts on analysts' workflows. We first review the analysis planning literature and crowd-sourced analysis studies to categorize suggestion content. We then conduct a Wizard-of-Oz study (n=13) to observe analysts' preferences and reactions to planning assistance in a realistic scenario. Our findings highlight subtleties in contextual factors that impact suggestion helpfulness, emphasizing design implications for supporting different abstractions of assistance, forms of initiative, increased engagement, and alignment of goals between analysts and assistants.

研究动机与目标

• 理解数据分析师在真实世界数据分析任务中对AI生成规划建议的响应方式。
• 识别在何种情境条件下，哪些类型的规划建议被认为最具帮助。
• 研究助手主动性、目标对齐性以及参与度在塑造分析师对AI辅助规划的信任与采纳中的作用。
• 通过表征可操作的建议内容与设计原则，填补AI在分析规划支持方面（超越代码执行）的空白。
• 探索将规划辅助集成到现有数据分析工作流中的可行性与影响，以提升分析稳健性并减少随意决策。

提出的方法

• 在真实实验室环境中，对13名资深数据分析师开展Wizard-of-Oz实验，模拟在真实数据集上使用AI辅助分析。
• 设计了一款定制化助手界面，基于文献推导的建议内容类别，生成上下文感知的规划建议。
• 采用半结构化任务，涵盖数据清洗、建模与推断，以诱发自然状态下的分析师行为与反馈。
• 收集关于建议接受度、信任关系及工作流变化的定性与观察数据，分析师与模拟AI助手互动。
• 采用行为驱动方法，基于分析规划文献与众包研究，对建议类型进行分类。
• 实现开源助手界面，以支持可复现性，并促进未来在数据科学工具中集成规划辅助功能。

Figure 1. Execution and planning assistance during data analysis . During an ongoing analysis (current step shown by the analyst icon), analysts may be focusing on the execution of an analysis decision (left) or planning their next decisions (right). During execution, analysts have a clear intent of

实验结果

研究问题

• RQ1 在真实分析工作流中，哪些类别的规划建议被数据分析师视为最具帮助？
• RQ2 情境因素（如时机、表达方式和目标对齐性）如何影响分析师对AI生成规划建议的接受度？
• RQ3 助手主动性在塑造分析师对AI辅助规划的参与度与信任关系中发挥何种作用？
• RQ4 分析师如何在依赖AI建议与自身分析判断及领域专长之间取得平衡？
• RQ5 AI辅助在哪些方面可支持分析师识别并评估替代分析方法，以提升分析的稳健性？

主要发现

• 分析师认为，那些促使反思替代模型、推理逻辑或假设的规划建议极具价值，尤其是在揭示被忽视的分析权衡时。
• 建议的有用性强烈受情境因素影响，如时机、表达方式以及与分析师当前分析目标的对齐程度，时机不当或偏离目标的建议会降低信任度。
• 当分析师认为助手与自身目标对齐，且建议鼓励深入推理而非仅生成代码时，更可能积极参与。
• 尽管具备高水平的统计与编程能力，分析师仍常忽视或未充分考虑助手所突出的决策点，表明需要更具直观性与主动性的规划支持。
• 当建议被呈现为权威性时，存在过度依赖AI建议的风险，凸显了设计机制的必要性，以促进批判性评估与透明度。
• 最有效的建议是那些能够支撑推理过程的建议，例如促使分析师考虑多种建模方法，而非仅推荐操作或代码。

Figure 2. Planning assistance has limited support and is unexplored . Existing assistants, such as Github Copilot, are well-suited for execution assistance, such as suggesting data wrangling or modeling code.