[论文解读] Human-AI Collaboration in Data Science: Exploring Data Scientists' Perceptions of Automated AI

Dakuo Wang, Justin D. Weisz+7 more|arXiv (Cornell University)|Sep 5, 2019

Big Data and Business Intelligence参考文献 58被引用 81

一句话总结

本论文通过对20名IBM数据科学家进行半结构化访谈，探讨数据科学家如何看待 AutoAI 及其在未来数据科学实践中的作用。

ABSTRACT

The rapid advancement of artificial intelligence (AI) is changing our lives in many ways. One application domain is data science. New techniques in automating the creation of AI, known as AutoAI or AutoML, aim to automate the work practices of data scientists. AutoAI systems are capable of autonomously ingesting and pre-processing data, engineering new features, and creating and scoring models based on a target objectives (e.g. accuracy or run-time efficiency). Though not yet widely adopted, we are interested in understanding how AutoAI will impact the practice of data science. We conducted interviews with 20 data scientists who work at a large, multinational technology company and practice data science in various business settings. Our goal is to understand their current work practices and how these practices might change with AutoAI. Reactions were mixed: while informants expressed concerns about the trend of automating their jobs, they also strongly felt it was inevitable. Despite these concerns, they remained optimistic about their future job security due to a view that the future of data science work will be a collaboration between humans and AI systems, in which both automation and human expertise are indispensable.

研究动机与目标

• 在企业环境中了解当前数据科学工作实践，以及 AutoAI 如何融入或改变它们。
• 探索数据科学家对 AutoAI 的态度，包括感知的利益、缺点、信任，以及对工作角色的影响。
• 描述数据科学与人机协作的模式，以及 AutoAI 如何作为合作者运作。
• 评估在数据科学工作流程中 AutoAI 是否被视为工具或第一等合作伙伴。

提出的方法

• 对在不同业务情境中积极开展数据科学工作的 IBM 数据科学家进行了半结构化访谈，共20人。
• 向参与者展示 AutoAI 演示（包含带进度的 UI、流水线可视化和排行榜）以帮助其建立理解。
• 对约 80 页的访谈记录和约 400 页的转录文本进行开放式编码，以识别主题。
• 将参与者的工作实践描述为‘scatter-gather’ 循环，即个人分析与协作创意生成的循环。
• 回顾相关的人机交互/计算机支持协同工作（HCI/CSCW）文献，以将 AutoAI 定位为潜在的一流合作者，而非仅是工具箱的补充。

实验结果

研究问题

• RQ1 数据科学家在企业环境中当前如何进行数据科学，AutoAI 可以在哪些方面 fit in？
• RQ2 数据科学家对 AutoAI 的利益、缺点和信任的感知，以及 AutoAI 如何改变协作与工作流？
• RQ3 在数据准备、建模和部署等环节，AutoAI 以何种方式支持或阻碍数据科学过程？
• RQ4 领域知识与跨学科协作如何影响 AutoAI 在数据科学工作中的整合？
• RQ5 在协作工作流中，未来人类数据科学家和 AutoAI 可能担任哪些角色？

主要发现

• 数据科学家对 AutoAI 的态度呈现混合情绪，对深度可能的损失表示担忧，但对协作与效率提升持乐观态度。
• AutoAI 被视为数据科学的必然未来，可能改变工作流和岗位角色。
• 出现了 scatter-gather 的协作模式，在 scatter 阶段 AutoAI 能提升个人生产力，在 gather 阶段支持团队 deliberations。
• AutoAI 被描述为潜在的一流合作者，具备跨团队协调与透明度，而不仅仅是工具。
• 数据科学家将 AutoAI 视为对人类专业知识的互补，而管理者则被自动化带来的潜在成本节省所吸引。
• 关注点包括若自动化降低可解释性与人工监管，部署低质量模型的风险。