[論文レビュー] Human-AI Collaboration in Data Science: Exploring Data Scientists' Perceptions of Automated AI

Dakuo Wang, Justin D. Weisz+7 more|arXiv (Cornell University)|Sep 5, 2019

Big Data and Business Intelligence参考文献 58被引用数 81

ひとこと要約

本論文は、IBMのデータサイエンティスト20名への半構造化インタビューを通じて、データサイエンティストがAutoAIをどう捉え、将来のデータサイエンス実践における役割をどう位置づけるかを探る。

ABSTRACT

The rapid advancement of artificial intelligence (AI) is changing our lives in many ways. One application domain is data science. New techniques in automating the creation of AI, known as AutoAI or AutoML, aim to automate the work practices of data scientists. AutoAI systems are capable of autonomously ingesting and pre-processing data, engineering new features, and creating and scoring models based on a target objectives (e.g. accuracy or run-time efficiency). Though not yet widely adopted, we are interested in understanding how AutoAI will impact the practice of data science. We conducted interviews with 20 data scientists who work at a large, multinational technology company and practice data science in various business settings. Our goal is to understand their current work practices and how these practices might change with AutoAI. Reactions were mixed: while informants expressed concerns about the trend of automating their jobs, they also strongly felt it was inevitable. Despite these concerns, they remained optimistic about their future job security due to a view that the future of data science work will be a collaboration between humans and AI systems, in which both automation and human expertise are indispensable.

研究の動機と目的

• 企業環境における現在のデータサイエンス作業実践を理解し、AutoAIがそれに適合するまたは変化させる可能性を探る。
• AutoAIに対するデータサイエンティストの態度を探究し、認識される利点・欠点・信頼、職務への影響を含む。
• データサイエンスにおける人間とAIの協働パターンを特徴づけ、AutoAIが協調者としてどのように機能し得るかを示す。
• AutoAIがデータサイエンスのワークフローにおいて道具として捉えられているのか、それとも第一級のパートナーとして見なされているのかを評価する。

提案手法

• 多様なビジネス文脈でアクティブにデータサイエンスを実践するIBMのデータサイエンティスト20名への半構造化インタビューを実施。
• 参加者にAutoAIデモ（進捗を示すUI、パイプライン可視化、リーダーボード）を提示し、理解を深めさせた。
• 約80ページのインタビュー記録と約400ページのトランスクリプトに対してオープンコーディングを実施し、テーマを抽出。
• 参加者の作業実践を「scatter-gather」型の個別分析と共同的アイデア創出の循環として記述。
• AutoAIを単なるツールキットの追加ではなく潜在的な第一級協働者として位置づけるため、関連するHCI/CSCW文献を検討。

実験結果

リサーチクエスチョン

• RQ1 企業環境においてデータサイエンティストは現在どのようにデータサイエンスを実践しており、AutoAIがどこに適用できるか？
• RQ2 データサイエンティストはAutoAIの利点・欠点・信頼についてどのように認識しており、AutoAIは協働やワークフローをどのように変え得るか？
• RQ3 データ前処理、モデリング、デプロイメントを横断する形で、AutoAIはデータサイエンスプロセスをどのように支援または妨げる可能性があるか？
• RQ4 ドメイン知識と学際的協働は、AutoAIをデータサイエンス作業へ統合する際にどのような影響を与えるか？
• RQ5 協働ワークフローにおいて、今後人間のデータサイエンティストとAutoAIはどのような役割を担う可能性があるか？

主な発見

• データサイエンティストはAutoAIに対して複合的な感情を抱き、深みの喪失を懸念する一方、協働と効率向上への楽観を示している。
• AutoAIはデータサイエンスの必然的な未来と見なされ、ワークフローや職務の変革をもたらす可能性がある。
• scatter-gather協働パターンが現れ、AutoAIはscatterフェーズで個人の生産性を高め、gatherフェーズでチームの熟議を支援できる。
• AutoAIは単なるツールではなく、横断的な調整と透明性を備えた第一級の協働者として特徴づけられている。
• データサイエンティストはAutoAIを人間の専門知識の補完と見なし、マネージャーは自動化によるコスト削減の可能性に惹かれている。
• 懸念として、自動化が解釈可能性と人間による監督を低下させる場合、低品質なモデルをデプロイしてしまうリスクが挙げられる。