[论文解读] An Experience Report on Machine Learning Reproducibility: Guidance for Practitioners and TensorFlow Model Garden Contributors

Vishnu Banna, Akhil Chinnakotla+8 more|arXiv (Cornell University)|Jul 2, 2021

Big Data and Business Intelligence被引用 8

一句话总结

本文提出了一套系统化的工程流程，用于复现最先进机器学习模型，以YOLO系列为案例研究，旨在实现高质量、标准化的TensorFlow Model Garden贡献。该方法包括结构化模型实现、定义角色的团队协作、自动化监控，以及可复现性和社区贡献的最佳实践文档化。

ABSTRACT

Machine learning techniques are becoming a fundamental tool for scientific and engineering progress. These techniques are applied in contexts as diverse as astronomy and spam filtering. However, correctly applying these techniques requires careful engineering. Much attention has been paid to the technical potential; relatively little attention has been paid to the software engineering process required to bring research-based machine learning techniques into practical utility. Technology companies have supported the engineering community through machine learning frameworks such as TensorFLow and PyTorch, but the details of how to engineer complex machine learning models in these frameworks have remained hidden. To promote best practices within the engineering community, academic institutions and Google have partnered to launch a Special Interest Group on Machine Learning Models (SIGMODELS) whose goal is to develop exemplary implementations of prominent machine learning models in community locations such as the TensorFlow Model Garden (TFMG). The purpose of this report is to define a process for reproducing a state-of-the-art machine learning model at a level of quality suitable for inclusion in the TFMG. We define the engineering process and elaborate on each step, from paper analysis to model release. We report on our experiences implementing the YOLO model family with a team of 26 student researchers, share the tools we developed, and describe the lessons we learned along the way.

研究动机与目标

• 为解决实践中缺乏标准化、可复现的机器学习模型实现问题，特别是提升社区采纳度。
• 建立可重复的工程流程，以确保向TensorFlow Model Garden持续贡献高质量成果。
• 通过定义角色、入职流程和项目管理流程，支持学生与研究人员的大规模团队协作。
• 开发用于云环境机器学习训练中预算和资源监控的工具。
• 记录并分享可提升模型可复现性、可维护性和可扩展性的工程实践。

提出的方法

• 采用具有明确阶段的结构化模型工程流程：论文分析、数据管道开发、模型架构实现、损失函数设计、训练和评估。
• 以TensorFlow作为主要框架，并通过标准化规范和版本控制确保代码一致性。
• 设立数据管道、模型和损失函数开发的子团队，以提升模块化程度和并行开发效率。
• 在Google Cloud Platform上实现自动化虚拟机监控，以控制成本并防止预算超支。
• 使用Monday.com进行任务分配、截止日期跟踪和团队责任管理，并辅以每周进度评审。
• 开发了一项入职任务，使用Python和TensorFlow对新成员进行标准化培训，并评估其是否具备参与模型工程任务的能力。

实验结果

研究问题

• RQ1 什么样的系统化工程流程能够实现面向社区仓库（如TensorFlow Model Garden）的先进机器学习模型的可靠且可复现的实现？
• RQ2 如何有效组织和管理由不同专业水平的学生与研究人员组成的大规模团队，以贡献于复杂的机器学习模型实现？
• RQ3 哪些工具和实践能够确保在云环境中的模型训练与评估过程中实现成本控制和资源效率？
• RQ4 如何标准化入职流程，以快速将新贡献者整合进大规模机器学习工程项目？
• RQ5 哪些最佳实践能够确保模型的可维护性、可扩展性，并与模型仓库中的社区标准保持兼容？

主要发现

• 该团队成功实现了YOLO模型系列，并已准备将其纳入TensorFlow Model Garden，作为所提出工程流程的可行性验证。
• 在新成员与经验丰富的成员比例为2:1的情况下，模型开发耗时5至6.5个月，表明团队构成对项目周期有显著影响。
• 开发了一款自动化虚拟机监控工具，用于跟踪云资源使用情况，发出预算预警，并在达到限额时自动关闭虚拟机。
• 入职任务有效评估并准备了新成员参与模型工程，通过测试其在数据管道、模型架构和损失函数方面的TensorFlow技能。
• 项目管理工具（如Monday.com）提升了任务可见性和责任落实，减少了闲置时间，提高了团队效率。
• 团队采用的结构化方法——包括子团队分工、明确里程碑和定期评审——即使在学术学期的挑战下，也确保了持续稳定的进展。