[论文解读] ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization

Qishi Dong, Muhammad Awais+6 more|arXiv (Cornell University)|Oct 17, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

ZooD 通过一种新颖的度量方法，对模型动物园中的预训练模型（PTMs）进行排序和集成，提出了一种可扩展的分布外（OoD）泛化范式。该度量方法通过留一域交叉验证评估类间可分性和域间稳定性。此外，通过应用变分期望最大化（EM）算法进行特征选择，ZooD 实现了比暴力微调快高达 9859 倍的推理速度，并将 DomainNet 上的准确率从 46.5% 提升至 50.6%。

ABSTRACT

Recent advances on large-scale pre-training have shown great potentials of leveraging a large set of Pre-Trained Models (PTMs) for improving Out-of-Distribution (OoD) generalization, for which the goal is to perform well on possible unseen domains after fine-tuning on multiple training domains. However, maximally exploiting a zoo of PTMs is challenging since fine-tuning all possible combinations of PTMs is computationally prohibitive while accurate selection of PTMs requires tackling the possible data distribution shift for OoD tasks. In this work, we propose ZooD, a paradigm for PTMs ranking and ensemble with feature selection. Our proposed metric ranks PTMs by quantifying inter-class discriminability and inter-domain stability of the features extracted by the PTMs in a leave-one-domain-out cross-validation manner. The top-K ranked models are then aggregated for the target OoD task. To avoid accumulating noise induced by model ensemble, we propose an efficient variational EM algorithm to select informative features. We evaluate our paradigm on a diverse model zoo consisting of 35 models for various OoD tasks and demonstrate: (i) model ranking is better correlated with fine-tuning ranking than previous methods and up to 9859x faster than brute-force fine-tuning; (ii) OoD generalization after model ensemble with feature selection outperforms the state-of-the-art methods and the accuracy on most challenging task DomainNet is improved from 46.5\% to 50.6\%. Furthermore, we provide the fine-tuning results of 35 PTMs on 7 OoD datasets, hoping to help the research of model zoo and OoD generalization. Code will be available at https://gitee.com/mindspore/models/tree/master/research/cv/zood.

研究动机与目标

• 为解决高效利用大规模预训练模型（PTMs）进行分布外（OoD）泛化的问题，其中分布偏移会降低模型性能。
• 开发一种可扩展的替代方案，以避免对所有 PTM 组合进行暴力微调，后者计算成本过高。
• 通过基于领域不变特征质量对 PTMs 进行排序，并选择信息性特征以减少集成模型中的噪声累积，从而提升 OoD 泛化能力。
• 提供一个可复现的基准，包含 35 个 PTMs 在 7 个 OoD 数据集上的微调结果、特征嵌入和排序分数。

提出的方法

• 提出一种留一域交叉验证策略，用于评估每个 PTM 的类间可分性和域间稳定性，作为其 OoD 泛化能力的排序度量。
• 基于跨域提取的特征所量化出的稳定性和可分性对 PTMs 进行排序，识别出在未见分布上泛化良好的模型。
• 采用基于特征潜在掩码的变分 EM 算法，实现高效的特征选择，减少模型集成中的噪声。
• 使用对真实后验的可分解变分近似，并通过局部估计器的随机近似方法将该方法扩展至大规模数据集。
• 引入具有逆伽玛超先验的贝叶斯层次先验模型，以确保特征选择的一致性。
• 将该方法应用于包含 Office-Home 和 DomainNet 在内的 7 个 OoD 数据集，涵盖 35 个多样化的 PTMs，进行全面评估。

实验结果

研究问题

• RQ1 基于域间稳定性和类间可分性的排序度量，是否能比现有基于独立同分布（IID）的度量更准确地预测 PTMs 在 OoD 任务上的微调性能？
• RQ2 与最先进方法相比，通过 PTM 模型动物园进行特征选择的模型集成，在多大程度上能提升 OoD 泛化性能？
• RQ3 与所有 PTM 组合的完整微调相比，ZooD 能实现多大的加速？
• RQ4 所提出的特征选择机制是否能有效减少噪声，同时保留集成模型中的不变特征？
• RQ5 该框架在保持选择一致性和性能的前提下，是否可扩展至大规模数据集？

主要发现

• 所提出的排序度量与实际微调性能高度相关，在预测 OoD 泛化能力方面优于现有基于 IID 的度量。
• ZooD 相比暴力微调实现了 9859 倍的加速，推理时间从 2662.27 GPU 小时减少至 0.27 GPU 小时。
• 在具有挑战性的 DomainNet 基准上，ZooD 将准确率从基线的 46.5% 提升至 50.6%，超过此前的 SOTA 方法。
• 在 Office-Home 数据集上，ZooD 实现了 85.1% 的平均准确率，显著优于此前 SOTA 方法的 70.6%。
• 基于变分 EM 的特征选择方法表现出高选择一致性，即使当 n ≤ d 时，真阳性率（TPR）仍高于 90%，当 n > d 时，假阳性率（FPR）接近 0%。
• 该方法在多种 PTMs 和 OoD 数据集上均保持强大性能，展现出卓越的鲁棒性与可扩展性。