[论文解读] Analyzing the Evolution and Maintenance of ML Models on Hugging Face

Joel Castaño, Silverio Martínez‐Fernández+2 more|arXiv (Cornell University)|Nov 22, 2023

Robotics and Automated Systems被引用 4

一句话总结

本研究通过仓库挖掘与提交记录分析，对 Hugging Face 平台上超过 380,000 个机器学习模型的演化与维护进行了分析。研究提出了一种基于提交类型（纠正型、完善型、适应型）的新型模型维护状态分类体系，揭示了完善型维护占主导地位，并表明模型演化受社区趋势、框架采用情况以及协作开发模式的驱动。

ABSTRACT

Hugging Face (HF) has established itself as a crucial platform for the development and sharing of machine learning (ML) models. This repository mining study, which delves into more than 380,000 models using data gathered via the HF Hub API, aims to explore the community engagement, evolution, and maintenance around models hosted on HF, aspects that have yet to be comprehensively explored in the literature. We first examine the overall growth and popularity of HF, uncovering trends in ML domains, framework usage, authors grouping and the evolution of tags and datasets used. Through text analysis of model card descriptions, we also seek to identify prevalent themes and insights within the developer community. Our investigation further extends to the maintenance aspects of models, where we evaluate the maintenance status of ML models, classify commit messages into various categories (corrective, perfective, and adaptive), analyze the evolution across development stages of commits metrics and introduce a new classification system that estimates the maintenance status of models based on multiple attributes. This study aims to provide valuable insights about ML model maintenance and evolution that could inform future model development strategies on platforms like HF.

研究动机与目标

• 理解 Hugging Face 平台（机器学习模型共享的核心平台）上机器学习模型的增长、演化与维护动态。
• 研究平台上的社区参与度、框架使用、标签实践以及数据集采纳随时间的演变情况。
• 分析模型卡片文本中的重复主题，洞察开发者优先事项与模型文档实践。
• 利用神经网络方法将提交信息分类为纠正型、完善型与适应型维护类型。
• 开发并验证一种基于版本控制与元数据模式的新型多属性分类体系，用于估算机器学习模型的维护状态。

提出的方法

• 从 Hugging Face Hub API 和 HFCommunity 数据集收集数据，以确保一致性和完整性。
• 使用自然语言处理技术对模型卡片描述进行文本分析，识别普遍主题与社区趋势。
• 利用预训练神经网络模型将提交信息分类为维护类别（纠正型、完善型、适应型），测试准确率达 89%。
• 通过人工检查 125 条提交信息验证分类结果，准确率达 86%。
• 基于提交频率、文件编辑模式与元数据属性，开发了一套多属性模型维护分类框架。
• 应用统计与时间序列分析，追踪不同开发阶段的提交演化，并将维护模式与模型特征相关联。

实验结果

研究问题

• RQ1 Hugging Face 社区在模型数量、领域聚焦、框架使用与标签趋势方面随时间如何演变？
• RQ2 模型卡片描述中的主导主题与洞察是什么？它们如何反映社区优先事项与文档实践？
• RQ3 在 Hugging Face 上托管的机器学习模型中，哪种类型的维护活动（纠正型、完善型、适应型）最为普遍？
• RQ4 不同模型开发阶段的提交模式与文件编辑行为如何演变？
• RQ5 基于版本控制与元数据的多属性分类体系能否有效估算机器学习模型的维护状态？

主要发现

• Hugging Face 社区经历了显著增长，尤其在生成式 AI 与自然语言处理领域，新框架与标签的采用持续增加。
• 模型卡片文本分析揭示了模型性能、微调流程与伦理考量等重复主题，表明社区对透明度与可复现性的关注。
• 完善型提交（优化与改进）最为频繁，表明社区对提升模型效率与性能的高度重视。
• 纠正型提交（错误修复）相对较少，表明许多模型的核心功能较为稳定，但不同仓库之间存在差异。
• 提交生命周期显示，初期为活跃开发阶段，随后进入核心组件的稳定化与优化阶段，尤其在高活跃度模型中表现明显。
• 所提出的维护分类框架表现出高度可靠性，可帮助用户选择维护模式可预测且可靠的模型。