[论文解读] Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning

Pin‐Yu Chen|arXiv (Cornell University)|Feb 22, 2022

Software Testing and Debugging Techniques被引用 12

一句话总结

本文提出模型重编程作为一种资源高效的跨领域机器学习方法，通过在数据丰富的领域（如视觉、自然语言处理）预训练模型的基础上，无需微调即可将其重新用于资源有限的目标领域任务。通过添加可训练的输入转换层和输出映射头，该方法仅使用极少的参数和训练成本，即可实现优异性能，在低数据场景下优于迁移学习和从零开始训练。

ABSTRACT

In data-rich domains such as vision, language, and speech, deep learning prevails to deliver high-performance task-specific models and can even learn general task-agnostic representations for efficient finetuning to downstream tasks. However, deep learning in resource-limited domains still faces multiple challenges including (i) limited data, (ii) constrained model development cost, and (iii) lack of adequate pre-trained models for effective finetuning. This paper provides an overview of model reprogramming to bridge this gap. Model reprogramming enables resource-efficient cross-domain machine learning by repurposing and reusing a well-developed pre-trained model from a source domain to solve tasks in a target domain without model finetuning, where the source and target domains can be vastly different. In many applications, model reprogramming outperforms transfer learning and training from scratch. This paper elucidates the methodology of model reprogramming, summarizes existing use cases, provides a theoretical explanation of the success of model reprogramming, and concludes with a discussion on open-ended research questions and opportunities. A list of model reprogramming studies is actively maintained and updated at https://github.com/IBM/model-reprogramming.

研究动机与目标

• 解决在数据稀缺、开发成本高且缺乏预训练模型的资源受限领域中部署高性能机器学习模型的挑战。
• 实现在无需微调源模型的前提下，从数据丰富的领域（如视觉、自然语言处理）向数据稀缺的目标领域进行跨领域迁移。
• 开发一种在大幅降低训练复杂度和计算成本的同时保持模型实用性的方法。
• 探索模型重编程在监督学习之外的潜力，包括半监督、无监督和自监督设置。
• 研究其在提升模型可信度（如公平性、鲁棒性、隐私保护）方面的作用，以及与基础模型和异构系统（如边缘计算和联邦学习）的集成。

提出的方法

• 在预训练的源模型中引入输入转换层和输出映射层，同时保持所有源模型参数冻结。
• 仅使用目标领域数据训练新添加的输入头和输出头，从而最小化参数更新和计算成本。
• 利用源模型丰富的特征表示能力，使其在不重新训练主干网络的情况下泛化到全新且无关的目标任务。
• 将该框架应用于低资源语音识别、音乐流派分类和视觉任务等多种领域，证明其在不同模态间的可迁移性。
• 通过数据增强和自监督伪标签技术，将该方法扩展至半监督和无监督设置。
• 通过将大型预训练模型存储在服务器端，仅在资源受限设备上运行轻量级重编程头，实现边缘计算和联邦学习系统的部署。

实验结果

研究问题

• RQ1 在低数据、资源受限的场景下，模型重编程是否能优于迁移学习和从零开始训练？
• RQ2 模型重编程在半监督、无监督和自监督学习场景中的有效性如何？
• RQ3 模型重编程能否用于改善模型的可信度属性，如公平性、鲁棒性、隐私保护和能效？
• RQ4 与独立重编程或迁移学习相比，联合重编程和微调选定参数的性能增益是多少？
• RQ5 如何将模型重编程集成到异构计算系统（如边缘计算和联邦学习）中，以降低通信和内存开销？

主要发现

• 模型重编程在低数据场景下仅需数千个可训练参数即可实现优异性能，与完整微调相比显著降低了训练成本。
• 在低资源语音命令识别和音乐流派分类任务中，联合重编程与微调优于独立重编程和迁移学习。
• 在差分隐私训练中，尤其在联邦学习场景下，模型重编程通过避免在敏感数据上更新参数，改善了隐私与效用之间的权衡。
• 通过仅将轻量级重编程头卸载到边缘设备，该方法实现了在边缘和云系统中的高效部署，降低了通信和存储开销。
• 通过数据增强和伪标签技术，该方法可扩展至自监督和半监督设置，在有限标注数据下仍能保持高性能。
• 对基础模型进行重编程为无大规模模型访问能力的研究人员提供了普惠化路径，实现了面向新任务的低成本适应。