[论文解读] Foundation Model is Efficient Multimodal Multitask Model Selector

Fanqing Meng, Wenqi Shao+5 more|arXiv (Cornell University)|Aug 11, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出EMMS，一种高效的多任务模型选择器，利用基础模型将多种标签格式（如类别、文本、边界框）统一转换为噪声标签嵌入，通过加权线性回归实现跨多模态任务的快速且准确的可迁移性估计。EMMS在性能上达到最先进水平，相较于LogME，排名准确率最高提升54.8%，推理速度提升6.29倍，同时是首个无需任务特定先验知识即可在多模态、多任务场景中实现泛化的模型选择方法。

ABSTRACT

This paper investigates an under-explored but important problem: given a collection of pre-trained neural networks, predicting their performance on each multi-modal task without fine-tuning them, such as image recognition, referring, captioning, visual question answering, and text question answering. A brute-force approach is to finetune all models on all target datasets, bringing high computational costs. Although recent-advanced approaches employed lightweight metrics to measure models' transferability,they often depend heavily on the prior knowledge of a single task, making them inapplicable in a multi-modal multi-task scenario. To tackle this issue, we propose an efficient multi-task model selector (EMMS), which employs large-scale foundation models to transform diverse label formats such as categories, texts, and bounding boxes of different downstream tasks into a unified noisy label embedding. EMMS can estimate a model's transferability through a simple weighted linear regression, which can be efficiently solved by an alternating minimization algorithm with a convergence guarantee. Extensive experiments on 5 downstream tasks with 24 datasets show that EMMS is fast, effective, and generic enough to assess the transferability of pre-trained models, making it the first model selection method in the multi-task scenario. For instance, compared with the state-of-the-art method LogME enhanced by our label embeddings, EMMS achieves 9.0\%, 26.3\%, 20.1\%, 54.8\%, 12.2\% performance gain on image recognition, referring, captioning, visual question answering, and text question answering, while bringing 5.13x, 6.29x, 3.59x, 6.19x, and 5.66x speedup in wall-clock time, respectively. The code is available at https://github.com/OpenGVLab/Multitask-Model-Selector.

研究动机与目标

• 为解决在无需微调的情况下，高效选择适用于多个多模态任务的最佳预训练模型的挑战。
• 克服现有可迁移性度量方法依赖任务特定先验知识、在多模态、多任务设置下失效的局限性。
• 开发一种通用、快速且准确的方法，用于评估在异构标签格式的多样化下游任务中模型的可迁移性。
• 通过利用基础模型将标签转换为统一嵌入空间，实现高效的模型选择。

提出的方法

• EMMS利用大型基础模型（如CLIP、GPT-2）将多样化的下游任务标签（如类别、文本描述、边界框）嵌入到一个共享的统一嵌入空间中。
• 它将所得嵌入视为噪声oracle，并将可迁移性估计建模为加权最小二乘回归（WLSR）问题。
• 通过具有理论收敛保证的交替优化算法求解WLSR，实现高效优化。
• 该方法设计为通用且可扩展，无需针对特定任务修改网络结构，即可处理各种标签格式。
• 它利用基础模型丰富的语义表征能力，捕捉超越独热编码或实值编码的复杂标签语义。
• 该框架端到端可微分，支持批量处理，实现跨多个模型和任务的快速推理。

实验结果

研究问题

• RQ1 能否通过统一表示多种标签格式（如文本、类别、边界框）来提升多模态任务间的可迁移性估计性能？
• RQ2 EMMS在多个下游任务中与LogME和TransRate等现有度量方法相比，在准确率和效率方面表现如何？
• RQ3 相较于传统标签编码方法，使用基础模型生成的标签嵌入在多大程度上提升了模型选择性能？
• RQ4 所提出的WLSR交替优化算法是否具有收敛保证，并在实践中高效可靠？
• RQ5 EMMS是否能在无需任务特定适配的情况下，有效泛化到广泛的多模态任务中？

主要发现

• 在图像识别、指代理解、图像字幕生成、视觉问答和文本问答任务中，EMMS相较于LogME分别实现9.0%、26.3%、20.1%、54.8%和12.2%的性能提升。
• 在相同任务上，EMMS将实际运行时间分别减少5.13倍、6.29倍、3.59倍、6.19倍和5.66倍，展现出显著的速度优势。
• 在Sun397数据集上，尽管计算复杂度更高，EMMS在T=1（未收敛）条件下仍比LogME的加权Kendall’s tau提升0.082。
• EMMS在图像分类任务中始终优于TransRate，无论使用K=1还是K=3的F标签，平均加权Kendall’s tau均高出0.082。
• 交替优化算法收敛稳定且高效，使EMMS能在24个数据集和5个下游任务上实现快速的模型选择。
• EMMS是首个无需依赖任务特定先验知识，即可在多模态、多任务场景中实现有效、通用且高效的模型选择的方法。