[論文レビュー] How do Data Science Workers Collaborate? Roles, Workflows, and Tools

Amy X. Zhang, Michael Müller+1 more|arXiv (Cornell University)|Jan 18, 2020

Big Data and Business Intelligence参考文献 76被引用数 16

ひとこと要約

本研究では、IBMの183名のデータサイエンティストを対象とした大規模オンライン調査を通じて、データサイエンスチームにおける協働のあり方を調査した。その結果、データサイエンス作業は、6段階のデータサイエンスワークフロー全体にわたり、多様な役割とツールを通じて極めて協働的であることが明らかになった。主な発見として、ドキュメンテーションの実践はツールの種別によって顕著に異なることが判明した。また、バイアス検出においてはデータサイエンティストとエンジニアが主導しているが、マネージャーやコミュニケーターは公平性関連の協働において不足していることが明らかになり、役割間の責任の共有に重大なギャップが存在することが示唆された。

ABSTRACT

Today, the prominence of data science within organizations has given rise to teams of data science workers collaborating on extracting insights from data, as opposed to individual data scientists working alone. However, we still lack a deep understanding of how data science workers collaborate in practice. In this work, we conducted an online survey with 183 participants who work in various aspects of data science. We focused on their reported interactions with each other (e.g., managers with engineers) and with different tools (e.g., Jupyter Notebook). We found that data science teams are extremely collaborative and work with a variety of stakeholders and tools during the six common steps of a data science workflow (e.g., clean data and train model). We also found that the collaborative practices workers employ, such as documentation, vary according to the kinds of tools they use. Based on these findings, we discuss design implications for supporting data science team collaborations and future research directions.

研究の動機と目的

• 単一のデータサイエンティストにとどまらない、マネージャーやコミュニケーター、ドメインエキスパートなどの非技術的役割を含む、データサイエンスチームの協働的実践を理解すること。
• データサイエンスワークフローの6段階（問題定義、データ収集、データクリーニング、モデリング、評価、デプロイ）にわたる協働パターンの違いを調査すること。
• Jupyter やバージョン管理、ドキュメンテーションツールなどのツール利用が、コードやデータのドキュメンテーションといった協働行動にどのように影響するかを調査すること。
• 異なる役割がデータサイエンスプロジェクトにおける公平性およびバイアス低減にどのように関与しているかを検討すること。
• 協働的データサイエンスツールの設計的示唆および今後の研究方向性を同定すること。

提案手法

• IBMの183名のデータサイエンスプロフェッショナルを対象とした大規模オンライン調査を実施し、役割、ワークフロー、ツール利用に焦点を当てた。
• 回答を6段階のデータサイエンスワークフローにマッピングし、各フェーズにおける協働パターンを分析した。
• 参加者を5つの役割に分類した：データサイエンティスト、エンジニア、マネージャー、コミュニケーター、ドメインエキスパート。
• ツール利用のパターンと、ドキュメンテーションやバージョン管理といった協働的実践との関係を分析した。
• 自ら報告した協働データを用いて、公平性およびバイアス低減における役割ごとの関与を調査した。
• テーマ的分析と定量的分析を用いて、協働の傾向、ツール依存性、役割ごとの貢献の違いを同定した。

実験結果

リサーチクエスチョン

• RQ1 データサイエンスワーカーは、データサイエンスワークフローの異なる段階と役割において、どのように協働しているか？
• RQ2 協働に最もよく使われるツールは何か。また、それらはドキュメンテーションと透明性の実践にどのように影響しているか？
• RQ3 マネージャーやドメインエキスパート、コミュニケーターなどの異なる役割は、データサイエンスプロジェクトにおける公平性およびバイアス検出にどのように貢献しているか？
• RQ4 技術的役割と非技術的役割の間で、協働行動にどのような違いがあるか？
• RQ5 ツール選定は、データサイエンスワークフローにおけるドキュメンテーションの質と一貫性にどのように影響するか？

主な発見

• データサイエンスチームは極めて協働的であり、参加者は問題定義からデプロイまで、6段階のすべてのフェーズで頻繁に相互作用していることが報告された。
• ドキュメンテーションの実践はツールの種別によって顕著に異なる：Jupyter Notebookの利用者はインラインドキュメンテーションを多く報告している一方、バージョン管理の利用者はコミットメッセージやコードコメントを重視している。
• データサイエンティストとエンジニアがバイアス検出および低減の主な貢献者であり、技術的ツールやアルゴリズムを用いて公平性の問題を特定・是正している。
• マネージャーやコミュニケーターは、公平性関連の協働において不足しているが、政策決定やリスク認識に影響を与える可能性を有している。
• 本研究では、倫理的AIの懸念に関する役割間協働のギャップが明らかになった。非技術的ステークホルダーがしばしば公平性に関する議論から除外されていることが示唆された。
• ツール選定は協働パターンに強く影響しており、異なるツールが異なる形式のドキュメンテーションと調整を支援している。