[论文解读] Composing Ensembles of Pre-trained Models via Iterative Consensus

Shuang Li, Yilun Du+3 more|arXiv (Cornell University)|Oct 20, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出了一种零样本框架，通过迭代共识组合预训练模型，其中生成器持续提出方案，一组评分模型在闭环优化过程中提供反馈。该方法在无需微调的情况下，显著提升了图像生成、数学推理和机器人操作等多样化多模态任务的性能，在GSM8K数据集上准确率提升了7.5%，并通过多个专家模型的集体反馈超越了微调基线模型。

ABSTRACT

Large pre-trained models exhibit distinct and complementary capabilities dependent on the data they are trained on. Language models such as GPT-3 are capable of textual reasoning but cannot understand visual information, while vision models such as DALL-E can generate photorealistic photos but fail to understand complex language descriptions. In this work, we propose a unified framework for composing ensembles of different pre-trained models -- combining the strengths of each individual model to solve various multimodal problems in a zero-shot manner. We use pre-trained models as "generators" or "scorers" and compose them via closed-loop iterative consensus optimization. The generator constructs proposals and the scorers iteratively provide feedback to refine the generated result. Such closed-loop communication enables models to correct errors caused by other models, significantly boosting performance on downstream tasks, e.g. improving accuracy on grade school math problems by 7.5%, without requiring any model finetuning. We demonstrate that consensus achieved by an ensemble of scorers outperforms the feedback of a single scorer, by leveraging the strengths of each expert model. Results show that the proposed method can be used as a general purpose framework for a wide range of zero-shot multimodal tasks, such as image generation, video question answering, mathematical reasoning, and robotic manipulation. Project page: https://energy-based-model.github.io/composing-pretrained-models.

研究动机与目标

• 解决现有模型组合方法缺乏闭环反馈、依赖固定接口（如语言）或需要联合微调的局限性。
• 仅使用预训练模型，在无需额外训练的情况下实现跨多样化任务的零样本多模态推理。
• 通过结合提供互补反馈的多个评分模型，提升性能，增强鲁棒性与错误纠正能力。
• 证明迭代优化与集成评分在实现有效零样本泛化中的必要性。
• 建立一种可扩展、通用的框架，以闭环、反馈驱动的方式集成多样化预训练模型。

提出的方法

• 该框架使用单一生成器模型，针对给定任务迭代生成提案。
• 一组预训练模型作为评分器，每个评分器提供一个反馈分数，表示对当前提案的一致性程度。
• 反馈在闭环过程中被利用，生成器根据所有评分器的集体共识对输出进行优化。
• 迭代优化在多个步骤中进行，评分器在每个阶段均对生成器进行评估与引导，而不仅在最后阶段。
• 评分器从多样化预训练模型（如CLIP、CLS、CLS-FREE）中选取，以确保互补优势并减少偏差。
• 该方法以零样本方式运行，无需微调或任务特定适配。

实验结果

研究问题

• RQ1 在无需任何微调的情况下，生成器与评分器集合之间的迭代共识能否提升多样化多模态任务的零样本性能？
• RQ2 来自多个评分器的闭环反馈相较于单向或单评分器反馈，在纠正模型错误方面表现如何？
• RQ3 集成评分与迭代优化在实现零样本泛化中的相对贡献是什么？
• RQ4 该框架能否在数学推理和机器人操作等任务上超越微调模型？
• RQ5 评分器集合中预训练模型的多样性如何影响最终性能与鲁棒性？

主要发现

• 与仅使用最终得分选择的基线相比，该方法在GSM8K小学数学基准测试中准确率提升了7.5%。
• 采用迭代优化与集成评分器（PIC with G+E1+E2+E3）在图像生成任务中实现了3.766的Fréchet Inception Distance（FID），显著优于单评分器基线。
• 该方法在GSM8K基准测试中超越了微调的GPT-2模型（GPT-FT+E），证明了零样本集成反馈的强大能力。
• 在机器人操作任务中，使用五个评分器的迭代优化（PIC with ∑₅Eₙ）在3-Relations任务中达到75.0%的成功率，较非迭代基线提升了37.5%。
• 消融实验确认，迭代优化与集成评分均不可或缺；移除任一机制均导致性能显著下降。
• 该框架在图像生成、视频问答、数学推理和机器人控制任务中均取得了当前最优的零样本性能，证明了其通用性。