[論文レビュー] Trust in Data Science: Collaboration, Translation, and Accountability in Corporate Data Science Projects

Samir Passi, Steven J. Jackson|arXiv (Cornell University)|Feb 9, 2020

Research Data Management Practices参考文献 96被引用数 62

ひとこと要約

この論文は、実世界の企業データサイエンス作業において、協力、翻訳、説明責任の中で、対立するデータとモデルの中で、信頼がどのように構築され、交渉されるかを分析する。

ABSTRACT

The trustworthiness of data science systems in applied and real-world settings emerges from the resolution of specific tensions through situated, pragmatic, and ongoing forms of work. Drawing on research in CSCW, critical data studies, and history and sociology of science, and six months of immersive ethnographic fieldwork with a corporate data science team, we describe four common tensions in applied data science work: (un)equivocal numbers, (counter)intuitive knowledge, (in)credible data, and (in)scrutable models. We show how organizational actors establish and re-negotiate trust under messy and uncertain analytic conditions through practices of skepticism, assessment, and credibility. Highlighting the collaborative and heterogeneous nature of real-world data science, we show how the management of trust in applied corporate data science settings depends not only on pre-processing and quantification, but also on negotiation and translation. We conclude by discussing the implications of our findings for data science research and practice, both within and beyond CSCW.

研究の動機と目的

• 企業チーム内の実務データサイエンスにおいて、信頼性がいかに生まれるかを調査する。
• 不確かな数値、反直感的な知識、信頼できるデータ、解読不能なモデルといった、信頼を揺らす緊張を特定する。
• 組織内の信頼の交渉における懐疑、評価、信頼性の実践を検討する。
• messy analytic contextsでの信頼管理における協力と翻訳の役割を強調する。

提案手法

• 企業データサイエンスチームを対象とした六か月にわたる民族誌的フィールドワーク。
• CSCW、批判的データ研究、科学の歴史/社会学に基づく理論的枠組み。
• データとモデルを巡る分散的かつ実践的な作業の定性的分析。
• 組織的設定の中で、日常的な信頼実践—懐疑、評価、信頼性—を検討する。

実験結果

リサーチクエスチョン

• RQ1 企業データサイエンスにおける信頼を揺さぶる緊張（数値、知識、データの信頼性、モデルの不透明さ）は何か。
• RQ2 不確実な分析条件の下で、組織の当事者は信頼をどのように確立し再交渉するのか。
• RQ3 データサイエンス作業中に、信頼を支援または妨げる実践（懐疑、評価、信頼性）はどのようなものか。
• RQ4 協力と翻訳は企業データサイエンスプロジェクトの信頼管理にどのような影響を与えるのか。

主な発見

• 応用データサイエンスにおける信頼性は、実践的な交渉を通じて緊張を解決する継続的で現場に根ざした作業から生まれる。
• 信頼管理はデータ前処理や定量化だけに依存せず、関係者間の協調プロセスと翻訳に依存する。
• 懐疑、評価、信頼性の実践は、混沌とした分析条件下での信頼の再交渉に中心的な役割を果たす。
• データサイエンスの協調的かつ異種混在的な性質は、企業環境で信頼を構築する重要な資源である。