[論文レビュー] How Much Automation Does a Data Scientist Want?

Dakuo Wang, Q. Vera Liao+6 more|arXiv (Cornell University)|Jan 7, 2021

Persona Design and Applications参考文献 111被引用数 25

ひとこと要約

この論文は、5段階の自動化、10のライフサイクル段階、43のサブタスク、5種類の説明、6人のユーザーロールを備えた包括的な人間-in-ザ-ループAutoMLフレームワークを提案し、その後217人のDS/MLワーカーを調査して望ましい自動化と説明を研究し、エンドツーエンドの完全自動化に反対する。

ABSTRACT

Data science and machine learning (DS/ML) are at the heart of the recent advancements of many Artificial Intelligence (AI) applications. There is an active research thread in AI, \autoai, that aims to develop systems for automating end-to-end the DS/ML Lifecycle. However, do DS and ML workers really want to automate their DS/ML workflow? To answer this question, we first synthesize a human-centered AutoML framework with 6 User Role/Personas, 10 Stages and 43 Sub-Tasks, 5 Levels of Automation, and 5 Types of Explanation, through reviewing research literature and marketing reports. Secondly, we use the framework to guide the design of an online survey study with 217 DS/ML workers who had varying degrees of experience, and different user roles "matching" to our 6 roles/personas. We found that different user personas participated in distinct stages of the lifecycle -- but not all stages. Their desired levels of automation and types of explanation for AutoML also varied significantly depending on the DS/ML stage and the user persona. Based on the survey results, we argue there is no rationale from user needs for complete automation of the end-to-end DS/ML lifecycle. We propose new next steps for user-controlled DS/ML automation.

研究の動機と目的

• ライフサイクル段階、タスク、自動化レベル、説明を網羅する人間中心のAutoMLフレームワークを統合する。
• オンライン調査を通じてDS/ML実務家の自動化と説明へのニーズと嗜好を調査する。
• DS/MLライフサイクルの完全なエンドツーエンド自動化の需要があるかを評価する。
• 今後の人間-in-ザ-ループAutoMLの研究と設計の指針を提供する。

提案手法

• 文献をレビューして、6役割、10段階、43サブタスクからなる5段階の自動化と5種類の説明を備えたAutoMLフレームワークを構築する。
• DS/MLライフサイクルフレームワークを定義し、段階とサブタスクを分類する。
• フレームワークのペルソナに沿った217名のDS/MLワーカーを対象としたオンライン調査を設計する。
• 調査回答を分析して、段階と役割ごとに好まれる自動化レベルと説明のばらつきを特定する。
• 調査結果を統合して、完全なエンドツーエンド自動化を優先することに反対する議論を提示し、今後のHITL AutoMLの方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなライフサイクル段階で、異なるDS/ML役割はどの程度の自動化レベルを望んでいるか？
• RQ2 段階と役割を横断して、ユーザーはAutoML出力にどの種類の説明を求めているか？
• RQ3 DS/MLライフサイクルのエンドツーエンド自動化の必要性を裏付ける証拠はあるか？
• RQ4 役割を横断して人間-in-ザ-ループ協働を支援するように、AutoMLシステムはどのように設計されるべきか？
• RQ5 人間中心のAutoMLの将来の研究と設計への含意は何か？

主な発見

• 異なるペルソナはライフサイクル全体に一様には関与せず、異なる段階とタスクに参加する。
• 望まれる自動化レベルと説明タイプは、ライフサイクル段階とユーザーロールによって大きく異なる。
• ライフサイクルの完全な（L4）エンドツーエンド自動化を正当化するユーザーニーズの明確な根拠はない。
• このフレームワークは実務者の経験と整合し、AutoMLシステムのユーザー中心設計の方向性を支持する。
• 完全自動化よりもユーザーが制御するDS/ML自動化を強調する次のステップが必要である。