[论文解读] A Neophyte With AutoML: Evaluating the Promises of Automatic Machine Learning Tools

Oleg Bezrukavnikov, Rhema Linder|arXiv (Cornell University)|Jan 14, 2021

Machine Learning and Data Classification参考文献 32被引用 4

一句话总结

本文从机器学习新手的视角，评估了三种AutoML工具——TPOP、AutoKeras和AutoGluon——在银行数据集上的可用性、性能和用户体验。尽管承诺自动化，研究仍揭示了显著的用户体验缺陷，包括混乱的日志、不准确的训练时间估计以及对模型内部结构可视化能力的不足，凸显了需要更直观、可视化界面，以真正实现非专家用户对AutoML的普及化。

ABSTRACT

This paper discusses modern Auto Machine Learning (AutoML) tools from the perspective of a person with little prior experience in Machine Learning (ML). There are many AutoML tools both ready-to-use and under development, which are created to simplify and democratize usage of ML technologies in everyday life. Our position is that ML should be easy to use and available to a greater number of people. Prior research has identified the need for intuitive AutoML tools. This work seeks to understand how well AutoML tools have achieved that goal in practice. We evaluate three AutoML Tools to evaluate the end-user experience and system performance. We evaluate the tools by having them create models from a competition dataset on banking data. We report on their performance and the details of our experience. This process provides a unique understanding of the state of the art of AutoML tools. Finally, we use these experiences to inform a discussion on how future AutoML tools can improve the user experience for neophytes of Machine Learning.

研究动机与目标

• 评估AutoML工具在多大程度上兑现了其简化机器学习流程、为非专家用户服务的承诺。
• 评估新手用户在实际使用中AutoML工具的用户体验（UX）。
• 识别AutoML工具在日志记录、训练时间估计和模型训练过程可视化方面存在的关键缺陷。
• 为改进AutoML工具以更好地服务机器学习初学者，提出可操作的改进建议。
• 探讨可视化、无代码界面在提升AutoML可访问性、实现对普通用户普及化方面的作用。

提出的方法

• 本研究评估了三种广泛使用的AutoML工具：TPOP、AutoKeras和AutoGluon。
• 采用标准化的银行数据集作为基准，用于模型构建与性能对比。
• 通过实际操作实验评估用户体验，重点关注设置便捷性、错误处理能力、日志清晰度以及可视化功能。
• 使用外部工具如Weights & Biases和TensorDash监控训练过程，以跨多次试验追踪指标。
• 作者记录了诸如日志冗长、缺乏训练时间估计以及可视化数据被覆盖等挑战。
• 分析包括对工具行为、错误信息以及模型监控可视化仪表板可用性的定性反馈。

实验结果

研究问题

• RQ1 对于无任何机器学习经验的用户，AutoML工具在多大程度上成功实现了机器学习流程的自动化？
• RQ2 在真实世界的关系型数据集上，AutoML工具在模型准确率和训练效率方面表现如何？
• RQ3 新手用户在使用AutoML工具时，面临的关键可用性挑战是什么，特别是在日志、错误信息和训练监控方面？
• RQ4 可视化与监控工具（如Weights & Biases、TensorDash）在AutoML训练过程中，如何增强或未能增强用户体验？
• RQ5 可视化、无代码界面在提升非开发人员对AutoML的可访问性、实现其普及化方面，可能发挥何种作用？

主要发现

• AutoML工具显著减少了手动调整超参数和选择模型的需求，但仍要求用户具备一定的Python编程知识及对特定库语法的掌握。
• 混乱且冗长的日志输出严重影响用户体验，尤其对初学者而言，使训练过程中问题的诊断变得困难。
• 大多数工具缺乏可靠的训练时长估计，导致长时间运行实验时产生不确定性，可能引发用户挫败感。
• 对训练过程进展和模型内部状态的可视化支持有限；例如，TensorDash会覆盖试验数据，而Weights & Biases则提供了更优的多试验追踪能力。
• 外部监控工具如Weights & Biases提供了更优越的实时可视化与多模型对比能力，但其集成并不顺畅，需额外配置。
• Northstar项目展示了极具前景的未来方向：可视化、交互式、无代码界面，有望极大提升非程序员用户的可访问性，推动AutoML的普及化。