[论文解读] Demystifying a Dark Art: Understanding Real-World Machine Learning Model Development

Angela Lee, Doris Xin+2 more|arXiv (Cornell University)|May 4, 2020

Machine Learning and Data Classification参考文献 20被引用 10

一句话总结

本研究分析了来自 OpenML 的 475,297 个机器学习工作流，以理解现实世界中的模型开发实践。研究发现，手动迭代在减少无用步骤方面更为高效，而自动化方法则探索更多选项并实现更高性能，表明人机协同的混合系统可在机器学习工作流开发中同时优化效率与效果。

ABSTRACT

It is well-known that the process of developing machine learning (ML) workflows is a dark-art; even experts struggle to find an optimal workflow leading to a high accuracy model. Users currently rely on empirical trial-and-error to obtain their own set of battle-tested guidelines to inform their modeling decisions. In this study, we aim to demystify this dark art by understanding how people iterate on ML workflows in practice. We analyze over 475k user-generated workflows on OpenML, an open-source platform for tracking and sharing ML workflows. We find that users often adopt a manual, automated, or mixed approach when iterating on their workflows. We observe that manual approaches result in fewer wasted iterations compared to automated approaches. Yet, automated approaches often involve more preprocessing and hyperparameter options explored, resulting in higher performance overall--suggesting potential benefits for a human-in-the-loop ML system that appropriately recommends a clever combination of the two strategies.

研究动机与目标

• 理解不同用户技能水平下真实世界机器学习工作流开发实践。
• 识别常见迭代模式及其对模型性能的影响。
• 从效率与效果角度，比较手动、自动化及混合方法在工作流迭代中的表现。
• 提取可操作的见解，以设计更优的人机协同机器学习系统，支持初学者与专家。

提出的方法

• 从 OpenML 平台收集并分析了 475,297 个用户生成的机器学习工作流，涵盖 793 项任务和 295 名用户。
• 根据预处理、模型选择和超参数的变化，将工作流迭代分类为手动、自动化或混合风格。
• 追踪工作流运行序列，以分析迭代模式、探索深度及各次迭代的性能提升。
• 对代表性用户序列开展案例研究，识别在模型与预处理选择方面的有效实践。
• 使用运行级别、序列级别及个体案例研究级别的汇总统计数据，确保结果具备鲁棒性与多粒度洞察。
• 采用标准化指标评估模型性能，并比较不同工作流开发策略下的迭代效率。

实验结果

研究问题

• RQ1 用户在实践中通常如何迭代机器学习工作流？主导的迭代风格是什么？
• RQ2 迭代风格（手动 vs. 自动化）与机器学习工作流开发中浪费迭代次数之间有何关系？
• RQ3 从性能提升及预处理与超参数选项的探索广度来看，手动与自动化方法有何差异？
• RQ4 在模型与预处理算子组合方面，最有效的工作流设计模式是什么？
• RQ5 如何利用专家用户的经验，通过人机协同机器学习系统指导初学者？

主要发现

• 尽管最终模型性能相似，手动迭代导致的浪费迭代次数显著少于自动化方法。
• 自动化方法探索了更多的预处理与超参数选项，从而带来更高的整体模型性能。
• 手动与自动化方法之间的性能差距可忽略不计，但效率差距显著，表明在实践中自动化方法成本更高。
• 专家通常先分析数据集特征，再调整超参数，而初学者往往忽略这一策略。
• 最有效的工作流结合了战略性手动探索与针对性自动化，表明混合方法为最优方案。
• 案例研究显示，人类用户在减少冗余探索和聚焦高影响力变更方面，优于简单自动化。