[论文解读] How do Data Science Workers Collaborate? Roles, Workflows, and Tools

Amy X. Zhang, Michael Müller+1 more|arXiv (Cornell University)|Jan 18, 2020

Big Data and Business Intelligence参考文献 76被引用 16

一句话总结

本研究通过针对IBM 183名专业人士的大规模在线调查，探究了数据科学团队的协作模式，揭示了数据科学工作在整个六阶段数据科学工作流中，跨多样化角色与工具的极高协作性。关键发现表明，文档实践因工具类型而异；尽管数据科学家和工程师主导偏差检测，但管理者和沟通者在公平性相关协作中代表性不足，凸显了跨角色问责的显著缺口。

ABSTRACT

Today, the prominence of data science within organizations has given rise to teams of data science workers collaborating on extracting insights from data, as opposed to individual data scientists working alone. However, we still lack a deep understanding of how data science workers collaborate in practice. In this work, we conducted an online survey with 183 participants who work in various aspects of data science. We focused on their reported interactions with each other (e.g., managers with engineers) and with different tools (e.g., Jupyter Notebook). We found that data science teams are extremely collaborative and work with a variety of stakeholders and tools during the six common steps of a data science workflow (e.g., clean data and train model). We also found that the collaborative practices workers employ, such as documentation, vary according to the kinds of tools they use. Based on these findings, we discuss design implications for supporting data science team collaborations and future research directions.

研究动机与目标

• 理解数据科学团队的协作实践，超越个体数据科学家的视角，包括管理者、沟通者和领域专家等非技术角色。
• 考察协作模式在数据科学工作流六个阶段（问题定义、数据收集、数据清洗、建模、评估和部署）中的差异。
• 探究工具使用（例如Jupyter、版本控制、文档工具）如何影响协作行为，如代码和数据文档化。
• 探索不同角色在数据科学项目中参与公平性与偏差缓解的情况。
• 识别协作式数据科学工具的设计启示与未来研究方向。

提出的方法

• 对来自IBM的183名数据科学专业人士开展大规模在线调查，聚焦角色、工作流和工具使用情况。
• 将调查结果映射至六阶段数据科学工作流，以分析各阶段的协作模式。
• 将参与者划分为五类角色：数据科学家、工程师、管理者、沟通者和领域专家。
• 分析工具使用模式及其与协作实践（如文档化和版本控制）的关系。
• 基于自我报告的协作数据，调查不同角色在公平性与偏差缓解中的参与情况。
• 采用主题分析与定量分析相结合的方法，识别协作趋势、工具依赖性及角色特异性贡献。

实验结果

研究问题

• RQ1 数据科学工作者如何在不同角色和数据科学工作流的各个阶段进行协作？
• RQ2 哪些工具最常用于协作？它们如何影响文档化与透明度实践？
• RQ3 不同角色（例如管理者、领域专家、沟通者）如何在数据科学项目中为公平性与偏差检测做出贡献？
• RQ4 技术与非技术团队成员之间的协作行为存在哪些关键差异？
• RQ5 工具选择如何影响数据科学工作流中文档的质量与一致性？

主要发现

• 数据科学团队高度协作，参与者报告在从问题定义到部署的六个工作流阶段中均存在频繁互动。
• 文档实践因工具而异：使用Jupyter Notebook的用户报告了更多内联文档，而使用版本控制的用户则更重视提交信息和代码注释。
• 数据科学家和工程师是偏差检测与缓解的主要贡献者，他们利用技术工具和算法识别并纠正公平性问题。
• 尽管管理者和沟通者在影响政策和风险意识方面具有潜力，但在公平性相关协作中代表性不足。
• 本研究揭示了在伦理AI问题上跨角色协作的缺口，表明非技术利益相关者通常被排除在公平性讨论之外。
• 工具选择显著影响协作模式，不同工具支持不同形式的文档化与协调。