[论文解读] Human-Centered AI for Data Science: A Systematic Approach

Dakuo Wang, Xiaojuan Ma+1 more|arXiv (Cornell University)|Oct 3, 2021

Ethics and Social Impacts of AI参考文献 15被引用 5

一句话总结

本文提出了一套系统化的三步法——探索、构建、整合——用于在数据科学中开发以人为本的人工智能（HCAI）系统，强调人类需求、协作与控制。文章介绍了四种实用的HCAI实施策略——混合规则-AI系统、人在回路设计、带有人类需求约束的AI，以及神经符号建模，表明AI应增强而非取代数据科学工作流中的人类专长。

ABSTRACT

Human-Centered AI (HCAI) refers to the research effort that aims to design and implement AI techniques to support various human tasks, while taking human needs into consideration and preserving human control. In this short position paper, we illustrate how we approach HCAI using a series of research projects around Data Science (DS) works as a case study. The AI techniques built for supporting DS works are collectively referred to as AutoML systems, and their goals are to automate some parts of the DS workflow. We illustrate a three-step systematical research approach(i.e., explore, build, and integrate) and four practical ways of implementation for HCAI systems. We argue that our work is a cornerstone towards the ultimate future of Human-AI Collaboration for DS and beyond, where AI and humans can take complementary and indispensable roles to achieve a better outcome and experience.

研究动机与目标

• 通过聚焦人类工作流程和需求，弥合人工智能研究与现实世界人类可用性之间的差距。
• 开发支持数据科学生命周期中特定、明确任务的AI系统，而不自动化整个流程。
• 确保AI系统尊重跨学科团队角色、人类专长，以及主导数据科学工作的非建模任务。
• 通过整合人在回路机制并融入人类知识作为约束，保持人类控制与信任。
• 推进可持续、协作式人机合作伙伴关系在数据科学乃至更广泛领域的愿景。

提出的方法

• 通过用户研究探索真实世界的数据科学工作流程、利益相关者角色及不同角色间任务的分配情况。
• 设计混合系统，将基于规则的逻辑与AI结合，用于代码文档生成等任务，当AI失败时切换至人工输入。
• 为特征工程实施人在回路架构，同时使用AI和众包工作者并行工作以提高可靠性。
• 通过惩罚函数将黑箱约束（如公平性、推理速度）嵌入目标函数，扩展AutoML优化。
• 开发神经符号模型，将符号模板（如幻灯片结构）与神经序列到序列模型结合，实现可解释、上下文感知的演示文稿生成。
• 将HCAI系统集成到真实工作流程中，并通过用户研究和真实世界产品部署进行评估。

实验结果

研究问题

• RQ1 AI系统如何被设计为在保留人类控制的前提下，支持数据科学生命周期中特定的非自动化任务？
• RQ2 HCAI系统的关键设计原则是什么？这些原则需考虑多样化的用户角色、跨学科协作以及人类知识密集型任务。
• RQ3 如何通过公平性、延迟等约束，将人类专长嵌入AI优化过程（如模型选择）中？
• RQ4 混合架构与神经符号架构在提升AI辅助数据科学工具的可靠性与可解释性方面有哪些改进？
• RQ5 HCAI系统对用户信任、工作安全感感知以及数据科学团队中的实际采纳率有何影响？

主要发现

• 三阶段系统化方法——探索、构建、整合——被证明在将HCAI开发扎根于真实人类工作流程和用户需求方面非常有效。
• 人在回路机制与混合规则-AI系统在代码文档生成、特征工程等任务中显著提升了可靠性，而仅靠AI则会失败。
• 通过惩罚函数将业务与伦理约束（如公平性、推理速度）嵌入AutoML优化，使AI能够满足现实世界需求。
• 结合符号模板与神经生成的神经符号系统，能从Jupyter笔记本生成更具可解释性与上下文准确性的演示文稿幻灯片。
• 用户评估与真实世界部署（如在数千名用户中使用的产品）证实，数据科学家重视AI辅助，但并不担心岗位被取代。
• 将HCAI系统整合到实际工作流程中可提升信任度并实现持续采纳，尤其是在保留人类监督与控制的情况下。