[论文解读] Jointly Training Large Autoregressive Multimodal Models

Emanuele Aiello, Lili Yu+3 more|arXiv (Cornell University)|Sep 27, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了联合自回归混合（JAM）框架，通过将一个70亿参数的纯文本大语言模型（LLM）与一个70亿参数的文本到图像模型融合为统一架构，实现对大型自回归多模态模型的联合训练。在自定义构建的数据集上采用数据高效的指令微调策略，所得到的JAM-Cross模型在生成连贯、交错排列的文本与图像输出方面达到最先进性能，标志着首个专为此任务设计的模型。

ABSTRACT

In recent years, advances in the large-scale pretraining of language and text-to-image models have revolutionized the field of machine learning. Yet, integrating these two modalities into a single, robust model capable of generating seamless multimodal outputs remains a significant challenge. To address this gap, we present the Joint Autoregressive Mixture (JAM) framework, a modular approach that systematically fuses existing text and image generation models. We also introduce a specialized, data-efficient instruction-tuning strategy, tailored for mixed-modal generation tasks. Our final instruct-tuned model demonstrates unparalleled performance in generating high-quality multimodal outputs and represents the first model explicitly designed for this purpose.

研究动机与目标

• 解决将独立的文本生成与图像生成模型整合为单一统一的多模态模型的挑战，该模型能够生成连贯、交错排列的文本与图像输出。
• 开发一种模块化且数据高效的融合方法，用于整合具有不同预训练目标的大型自回归模型——即仅处理文本的大型语言模型与文本到图像模型。
• 通过参数平均与宽度拼接，证明在解码器-only Transformer 架构之间实现深度模型融合的可行性。
• 开创一种专为混合模态生成设计的指令微调策略，使用聚焦于图像生成任务的定制化数据集。
• 建立首个能够生成长序列、多模态内容且文本与图像组件对齐的大型多模态模型。

提出的方法

• JAM框架将两个预训练的70亿参数自回归模型进行融合：一个仅处理文本的大型语言模型（Molybog et al., 2023）和一个文本到图像模型（CM3leon, Yu et al., 2023），两者均基于相同的解码器-only Transformer 架构。
• 通过简单的参数平均实现模型融合：$\bm{\theta}_{\text{average}} = \frac{1}{2}\bm{\theta}_{\text{llm}} + \frac{1}{2}\bm{\theta}_{\text{img}}$，形成JAM-Uniform初始化。
• 采用宽度拼接构建更宽的联合模型，参数量达260亿，隐藏维度加倍至$d_{\text{joint}} = 8192$，注意力权重初始化为结合原始模型参数的分块矩阵。
• 通过在混合数据集（包含仅文本与图文样本）上进行持续预训练，对融合模型进行微调，以对齐模态并支持联合生成。
• 采用专门设计的指令微调流程，使用聚焦于图像生成任务的定制化多模态指令数据集，使模型能够生成交错排列的文本与图像输出。
• 引入交叉注意力机制，实现视觉与语言表征之间的双向交互，使该方法有别于单向方法（如Flamingo）。

Figure 1: Selected sample generated by our instruction-tuned JAM-Cross model. The model can complex mixed-modal outputs with coherent alignment between generated text and images.

实验结果

研究问题

• RQ1 两个分别针对文本和图像生成训练的大型自回归模型，能否被有效融合进单一架构中，同时保留各自优势并支持联合多模态生成？
• RQ2 在定制化、多模态指令数据集上采用数据高效的指令微调，是否能显著提升模型生成连贯、交错排列的文本与图像输出的能力？
• RQ3 宽度拼接与参数平均是否能够实现对具有不同模态和预训练目标的大规模高参数模型的稳定且高效的联合训练？
• RQ4 联合模型在多模态生成中是否展现出原始父模型中不存在的涌现能力？
• RQ5 该模型在生成复杂、长序列、交错排列的文本与图像内容方面，与现有多模态模型相比性能如何？

主要发现

• JAM框架成功将一个70亿参数的纯文本大型语言模型与一个70亿参数的文本到图像模型融合为单一统一架构，能够生成连贯、交错排列的文本与图像输出。
• 经过指令微调的JAM-Cross模型在多模态生成任务中达到最先进性能，展现出生成文本与图像之间卓越的对齐性与连贯性。
• 仅使用原始预训练数据总量的1%以下，联合训练过程仍保持高度数据效率，同时实现优异性能。
• 该模型展现出生成长序列、多模态内容的能力，且文本与图像组件之间具有复杂对齐关系，这是孤立的父模型所不具备的能力。
• 宽度拼接方法使联合模型成功扩展至260亿参数，训练稳定，并在多模态生成性能上优于仅使用参数平均的方法。
• 聚焦于图像生成的定制化指令微调数据集表现出极高有效性，仅使用1,000个精心挑选的样本即可在该多模态设置中取得强劲性能。

Figure 2: JAM-Cross, architecture overview. The cross-attention blocks are interleaved between the original LLM block and the Text-Image blocks, and the output embedding between the two branches are concatenated and then projected to the output embedding dimension.