[论文解读] Model Ratatouille: Recycling Diverse Models for Out-of-Distribution Generalization

Alexandre Ramé, Kartik Ahuja+4 more|arXiv (Cornell University)|Dec 20, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 Model Ratatouille 方法，通过复用基础模型的多样化微调模型来提升分布外（OOD）泛化能力。该方法利用辅助微调模型的权重作为初始化，对目标任务进行多个并行微调，随后对结果进行平均，从而在 DomainBed 上实现最先进性能，且无需额外推理或训练成本。

ABSTRACT

Foundation models are redefining how AI systems are built. Practitioners now follow a standard procedure to build their machine learning solutions: from a pre-trained foundation model, they fine-tune the weights on the target task of interest. So, the Internet is swarmed by a handful of foundation models fine-tuned on many diverse tasks: these individual fine-tunings exist in isolation without benefiting from each other. In our opinion, this is a missed opportunity, as these specialized models contain rich and diverse features. In this paper, we thus propose model ratatouille, a new strategy to recycle the multiple fine-tunings of the same foundation model on diverse auxiliary tasks. Specifically, we repurpose these auxiliary weights as initializations for multiple parallel fine-tunings on the target task; then, we average all fine-tuned weights to obtain the final model. This recycling strategy aims at maximizing the diversity in weights by leveraging the diversity in auxiliary tasks. Empirically, it improves the state of the art on the reference DomainBed benchmark for out-of-distribution generalization. Looking forward, this work contributes to the emerging paradigm of updatable machine learning where, akin to open-source software development, the community collaborates to reliably update machine learning models. Our code is released: https://github.com/facebookresearch/ModelRatatouille.

研究动机与目标

• 解决孤立微调实践的局限性，即每个模型均独立训练，未利用其他微调变体的知识。
• 利用多个微调模型在辅助任务上学习到的特征多样性，提升在分布外（OOD）泛化中的鲁棒性。
• 提出一种策略，复用现有微调模型作为目标任务微调的初始化点，以最大化模型多样性。
• 在与标准超参数搜索相比不增加额外推理或训练开销的前提下，实现最先进水平的 OOD 泛化性能。
• 推动可更新机器学习的新兴范式，即通过社区协作持续改进模型，类似于开源软件。

提出的方法

• 将多个预训练的基础模型的现有微调模型（在多样化辅助任务上训练）重新用作目标任务微调的初始化权重。
• 使用每个辅助微调模型作为起点，独立对基础模型在目标任务上进行微调。
• 通过平均所有目标任务微调的最终权重，形成最终模型。
• 采用均匀选择和贪婪选择两种策略选取用于初始化的辅助模型，并评估其对性能的影响。
• 通过支持多个微调并行训练，确保方法计算高效，且无额外推理成本。
• 在 DomainBed、DomainNet 和 Camelyon 等标准基准上应用该方法，评估其在多样化领域中的 OOD 泛化能力。

实验结果

研究问题

• RQ1 复用基础模型的多样化微调模型作为初始化点，能否提升目标任务上的分布外泛化能力？
• RQ2 辅助任务的多样性在多大程度上影响最终平均模型在 OOD 设置下的性能？
• RQ3 Model Ratatouille 是否在 OOD 泛化基准测试中优于现有的集成与平均策略（如 model soups 和 DiWA）？
• RQ4 该方法能否在多样化数据集上有效应用，包括医学影像（如 Camelyon）和细粒度视觉识别（如 TerraIncognita）？
• RQ5 当辅助任务与目标任务不相似时，该方法是否仍能保持性能增益，还是仅在辅助任务与目标任务相关时才表现最佳？

主要发现

• 在 DomainBed 基准上，Model Ratatouille 实现了最先进水平的 OOD 泛化性能，所有数据集的平均准确率达到 68.1%，超过此前方法（包括 model soups 和 DiWA）。
• 在 DomainNet 上，Model Ratatouille 使用均匀选择和贪婪选择策略分别达到 47.7% 的平均准确率，与 model soups 和 DiWA 表现相当或更优。
• 在 Camelyon 组织病理学数据集上，Model Ratatouille 在贪婪选择下优于 model soups，平均准确率达到 95.4%（vs. 95.1% for soups）。
• 该方法对辅助任务选择具有鲁棒性：即使使用距离较远的辅助任务（如在 TerraIncognita 上使用 DomainBed 的任务），性能仍从 model soups 的 51.4% 提升至 Model Ratatouille 的 51.8%。
• 当在 TerraIncognita 上使用更相关的辅助任务（如 iWildCam）时，Model Ratatouille 达到 52.9% 的平均准确率，证明其能有效利用相关辅助知识。
• 与标准超参数搜索相比，该方法不增加额外推理或训练成本，因此在实际部署中具有实用性。