[论文解读] An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry

Wenxin Jiang, Nicholas Synovic+6 more|arXiv (Cornell University)|Jan 1, 2023

Scientific Computing and Data Management被引用 4

一句话总结

本论文对 Hugging Face 模型注册表中的预训练模型（PTM）重用进行了首次实证研究，结合了对从业者的访谈与对 63,182 个 PTM 包的分析。研究识别出 PTM 重用的决策工作流程，揭示了诸如缺少属性和性能差异等关键挑战，并发现了供应链风险，为通过自动化审计与标准化提升模型注册表的可信度与基础设施提供了基础性洞见。

ABSTRACT

Deep Neural Networks (DNNs) are being adopted as components in software systems. Creating and specializing DNNs from scratch has grown increasingly difficult as state-of-the-art architectures grow more complex. Following the path of traditional software engineering, machine learning engineers have begun to reuse large-scale pre-trained models (PTMs) and fine-tune these models for downstream tasks. Prior works have studied reuse practices for traditional software packages to guide software engineers towards better package maintenance and dependency management. We lack a similar foundation of knowledge to guide behaviors in pre-trained model ecosystems. In this work, we present the first empirical investigation of PTM reuse. We interviewed 12 practitioners from the most popular PTM ecosystem, Hugging Face, to learn the practices and challenges of PTM reuse. From this data, we model the decision-making process for PTM reuse. Based on the identified practices, we describe useful attributes for model reuse, including provenance, reproducibility, and portability. Three challenges for PTM reuse are missing attributes, discrepancies between claimed and actual performance, and model risks. We substantiate these identified challenges with systematic measurements in the Hugging Face ecosystem. Our work informs future directions on optimizing deep learning ecosystems by automated measuring useful attributes and potential attacks, and envision future research on infrastructure and standardization for model registries.

研究动机与目标

• 理解 Hugging Face 深度学习模型注册表中预训练模型（PTM）重用的实际做法与挑战。
• 识别出支持或阻碍 PTM 有效重用的关键属性，例如来源可追溯性、可复现性与可移植性。
• 衡量并量化 PTM 供应链中的风险，包括缺失签名以及声称性能与实际性能之间的差异。
• 为未来在自动化审计、模型注册表标准化及 PTM 生态系统基础设施改进方面的研究提供依据。

提出的方法

• 对 12 名 Hugging Face 从业者进行了半结构化访谈，以探究 PTM 重用工作流程与挑战。
• 构建了 Hugging Face 中 PTM 创建与分发的数据流模型，以分析模型生命周期并识别攻击向量。
• 收集并分析了来自 Hugging Face 注册表的 63,182 个 PTM 包数据集，以衡量重用属性与风险。
• 通过分析缺失数字签名、元数据不一致以及性能差异，识别出供应链风险。
• 基于访谈所得主题与实证数据，提出了 PTM 重用的决策工作流程。
• 发布了包含 63,182 个 PTM 包历史记录的 HFTorrent 数据集，以支持未来研究与可复现性。

实验结果

研究问题

• RQ1 在 Hugging Face 生态系统中，预训练模型重用的关键实践与决策因素是什么？
• RQ2 预训练模型的哪些属性在实践中最显著地促进或阻碍其重用？
• RQ3 Hugging Face 模型供应链中存在哪些风险与漏洞，特别是关于信任与可复现性方面？
• RQ4 声称的模型性能指标在多大程度上与实际使用中的性能一致？

主要发现

• PTM 重用的决策工作流程涉及对模型来源、性能声明与兼容性的评估，其中微调是主导的重用模式。
• Hugging Face 注册表中 30% 的模型缺少数字签名，增加了供应链被攻破的风险。
• 在 22% 的模型中观察到性能差异，即报告的指标与在标准基准上的评估结果不一致。
• 许多模型缺少关键元数据，如训练数据来源、许可证清晰度或模型卡片信息，从而损害了可复现性。
• 与传统软件包相比，Hugging Face 生态系统在模型属性方面表现出更高的复杂性，模型包含权重、数据集与配置等。
• 本研究识别出多种软件供应链攻击向量，包括恶意模型权重与污染的微调数据，凸显了对自动化检测工具的需求。