[論文レビュー] Demystifying a Dark Art: Understanding Real-World Machine Learning Model Development

Angela Lee, Doris Xin+2 more|arXiv (Cornell University)|May 4, 2020

Machine Learning and Data Classification参考文献 20被引用数 10

ひとこと要約

本研究では、OpenML から取得した 475,297 件の機械学習ワークフローを分析し、現実世界のモデル開発実践を理解することを目的としている。手動による反復は、無駄なステップが少ないという点でより効率的であるのに対し、自動化されたアプローチはより多くの選択肢を探索し、高いパフォーマンスを達成する。これは、効率性と有効性の両方を最適化するためのハイブリッド型人間によるループシステムが有効である可能性を示唆している。

ABSTRACT

It is well-known that the process of developing machine learning (ML) workflows is a dark-art; even experts struggle to find an optimal workflow leading to a high accuracy model. Users currently rely on empirical trial-and-error to obtain their own set of battle-tested guidelines to inform their modeling decisions. In this study, we aim to demystify this dark art by understanding how people iterate on ML workflows in practice. We analyze over 475k user-generated workflows on OpenML, an open-source platform for tracking and sharing ML workflows. We find that users often adopt a manual, automated, or mixed approach when iterating on their workflows. We observe that manual approaches result in fewer wasted iterations compared to automated approaches. Yet, automated approaches often involve more preprocessing and hyperparameter options explored, resulting in higher performance overall--suggesting potential benefits for a human-in-the-loop ML system that appropriately recommends a clever combination of the two strategies.

研究の動機と目的

• 多様なユーザのスキルレベルにおける現実世界の機械学習ワークフロー開発実践を理解すること。
• 一般的な反復パターンとそのモデルパフォーマンスへの影響を同定すること。
• 効率性と有効性の観点から、手動、自動化、およびハイブリッドなアプローチのワークフロー反復方法を比較すること。
• 初心者と熟練者を支援するより良い人間によるループ ML システムの設計に役立つ実用的知見を抽出すること。

提案手法

• 793 タスクおよび 295 ユーザーを対象に、OpenML プラットフォームから収集・分析した 475,297 件のユーザ生成 ML ワークフロー。
• 前処理、モデル選択、ハイパーパramータの変更に基づき、ワークフローの反復を手動、自動化、ハイブリッドのスタイルに分類。
• 反復の順序、探索の深さ、パフォーマンス向上の度合いを分析するために、ワークフロー実行のシーケンスを追跡。
• 代表的なユーザのシーケンスを対象に事例研究を実施し、モデルおよび前処理選択における効果的な実践を同定。
• 実行レベル、シーケンスレベル、個別事例研究レベルの集計統計を用いて、多層的かつ堅牢な知見を確保。
• 標準化された指標を用いてモデルパフォーマンスを評価し、異なるワークフロー開発戦略における反復効率を比較。

実験結果

リサーチクエスチョン

• RQ1 実際のユーザーは、機械学習ワークフローをどのように反復しているのか。また、主な反復スタイルは何か。
• RQ2 反復スタイル（手動対自動化）と ML ワークフロー開発における無駄な反復回数の関係は何か。
• RQ3 パフォーマンスの向上と前処理・ハイパーパramータの選択肢の探索の観点から、手動と自動化アプローチを比較するとどうなるか。
• RQ4 モデルおよび前処理オペレータの組み合わせにおいて、最も効果的なワークフロー設計パターンは何か。
• RQ5 熟練ユーザからの知見を、初心者ユーザを支援する人間によるループ ML システムがどのように活用できるか。

主な発見

• 手動による反復は、最終的なモデルパフォーマンスは同程度であるものの、自動化アプローチに比べて著しく少ない無駄な反復が発生する。
• 自動化アプローチは、より多くの前処理およびハイパーパramータの選択肢を探索し、全体的なモデルパフォーマンスが向上する。
• 手動と自動化アプローチの間のパフォーマンスギャップはほとんどないが、効率性のギャップは顕著であるため、実際の現場では自動化がコストパフォーマンスに劣ると示唆される。
• 熟練者たちは、通常、ハイパーパramータチューニングの前にデータセットの特徴を分析するが、初心者たちはこの戦略を頻繁に無視する。
• 戦略的な手動による探索と的確な自動化を組み合わせたワークフローが最も効果的であり、ハイブリッドアプローチが最適であると示唆される。
• 事例研究では、人間のユーザーが単純な自動化よりも、冗長な探索を最小限に抑え、高インパクトな変更に集中する点で優れていることが明らかになった。