[논문 리뷰] Jointly Training Large Autoregressive Multimodal Models

Emanuele Aiello, Lili Yu외 3명|arXiv (Cornell University)|2023. 09. 27.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 70억 파라미터의 텍스트 전용 LLM과 70억 파라미터의 텍스트-이미지 모델을 통합한 유일한 아키텍처로, 대규모 자동회귀 다중모달 모델을 공동으로 훈련하기 위한 연합 자동회귀 혼합(JAM) 프레임워크를 소개한다. 자체 커리레이티드 데이터셋을 바탕으로 자료 효율적인 지시 fine-tuning 전략을 적용함으로써, JAM-Cross 모델은 일관되고 번갈아가며 생성되는 텍스트 및 이미지 출력에서 최고 성능을 달성하였으며, 이는 이 작업을 위해 전용으로 설계된 첫 번째 모델이다.

ABSTRACT

In recent years, advances in the large-scale pretraining of language and text-to-image models have revolutionized the field of machine learning. Yet, integrating these two modalities into a single, robust model capable of generating seamless multimodal outputs remains a significant challenge. To address this gap, we present the Joint Autoregressive Mixture (JAM) framework, a modular approach that systematically fuses existing text and image generation models. We also introduce a specialized, data-efficient instruction-tuning strategy, tailored for mixed-modal generation tasks. Our final instruct-tuned model demonstrates unparalleled performance in generating high-quality multimodal outputs and represents the first model explicitly designed for this purpose.

연구 동기 및 목표

• 분리된 텍스트 및 이미지 생성 모델을 하나의 통합된 다중모달 모델로 통합하여 일관되고 번갈아가며 생성되는 텍스트 및 이미지 출력을 가능하게 하는 도전 과제를 해결하기 위해.
• 텍스트 전용 LLM과 텍스트-이미지 모델과 같은 서로 다른 사전훈련 목표를 가진 대규모 자동회귀 모델을 융합하기 위한 모듈러하고 자료 효율적인 방법을 개발하기 위해.
• 가장자기회귀 디코더 전용 트랜스포머 아키텍처 간의 깊은 모델 융합 가능성을 입증하기 위해, 가중치 평균화와 너비 연결을 통해 수행한다.
• 혼합형 다중모달 생성을 위해 특화된 지시 훈련 전략을 개발하고, 이미지 생성 작업에 집중된 커리레이티드 데이터셋을 활용하기 위해.
• 장기적이고 다중모달 콘텐츠를 일관된 텍스트 및 이미지 구성 요소로 생성할 수 있는 최초의 대규모 다중모달 모델을 구축하기 위해.

제안 방법

• JAM 프레임워크는 두 개의 사전훈련된 70억 파라미터 자동회귀 모델을 융합한다: 텍스트 전용 LLM(Molybog 등, 2023)과 텍스트-이미지 모델(CM3leon, Yu 등, 2023), 둘 다 동일한 디코더 전용 트랜스포머 아키텍처를 기반으로 한다.
• 모델 융합은 단순한 가중치 평균화를 통해 수행되며, $\bm{\theta}_{\text{average}} = \frac{1}{2}\bm{\theta}_{\text{llm}} + \frac{1}{2}\bm{\theta}_{\text{img}}$ 로 표현되며, 이는 JAM-Uniform 초기화를 생성한다.
• 너비 연결을 사용하여 260억 파라미터의 더 넓은 통합 모델을 구축하며, 은닉 차원은 두 배로 늘어나 $d_{\text{joint}} = 8192$ 가 되고, 어텐션 가중치는 원본 모델 가중치를 조합한 블록 행렬로 초기화된다.
• 모델는 모달 간의 정렬과 공동 생성 기능을 위해, 텍스트 전용 및 이미지-텍스트 샘플로 구성된 하이브리드 데이터셋에서 계속된 사전훈련을 통해 fine-tuning된다.
• 다중모달 지시에 특화된 지시 훈련 절차가 적용되며, 이미지 생성 작업에 집중된 커리레이티드 데이터셋을 사용하여 모델이 번갈아가며 생성되는 텍스트 및 이미지 출력을 생성할 수 있도록 한다.
• 비디오 및 언어 표현 간의 双방향 상호작용을 가능하게 하기 위해 교차 어텐션 메커니즘을 활용하며, 이는 Flamingo와 같은 단방향 방법과의 차별성을 둔다.

Figure 1: Selected sample generated by our instruction-tuned JAM-Cross model. The model can complex mixed-modal outputs with coherent alignment between generated text and images.

실험 결과

연구 질문

• RQ1 분리적으로 훈련된 대규모 자동회귀 모델(텍스트 생성용 및 이미지 생성용)이 일관되고 번갈아가며 생성되는 텍스트 및 이미지 출력을 가능하게 하는 단일 아키텍처로 효과적으로 융합될 수 있는가?
• RQ2 커리레이티드 다중모달 지시 데이터셋에 대해 자료 효율적인 지시 훈련을 수행할 경우, 모델이 일관되고 번갈아가며 생성되는 텍스트 및 이미지 출력을 생성할 능력이 크게 향상되는가?
• RQ3 너비 연결과 가중치 평균화가 서로 다른 모달과 사전훈련 목표를 가진 대규모 고파라미터 모델의 안정적이고 효과적인 공동 훈련을 가능하게 하는가?
• RQ4 통합 모델이 부모 모델에서 관찰되지 않는 새로운 능력을 다중모달 생성에서 어떻게 발현하는가?
• RQ5 결과로 도출된 모델의 성능은 복잡하고 장기적인 번갈아가는 텍스트 및 이미지 콘텐츠 생성에서 기존의 다중모달 모델과 비교해 어떻게 되는가?

주요 결과

• JAM 프레임워크는 70억 파라미터의 텍스트 전용 LLM과 70억 파라미터의 텍스트-이미지 모델을 하나의 통합 아키텍처로 융합하여, 일관되고 번갈아가며 생성되는 텍스트 및 이미지 출력을 생성할 수 있는 능력을 갖춘다.
• 지시 훈련을 거친 JAM-Cross 모델은 다중모달 생성에서 최고 성능을 기록하며, 생성된 텍스트와 이미지 간의 뛰어난 정렬성과 일관성을 보여준다.
• 모델의 원본 사전훈련 데이터의 1퍼센트 미만을 사용하여도 공동 훈련 과정이 매우 자료 효율적이며, 뛰어난 성능을 유지한다.
• 모델는 텍스트와 이미지 구성 요소 간의 복잡한 정렬을 가진 장기적인 다중모달 콘텐츠 생성이라는 잠재적 능력을 보이며, 이는 고립된 부모 모델에서는 관찰되지 않았다.
• 너비 연결 방법을 통해 260억 파라미터의 통합 모델을 효과적으로 확장할 수 있었으며, 가중치 평균화만을 사용한 경우보다 안정적인 훈련과 향상된 다중모달 생성 성능을 달성했다.
• 이미지 생성에 집중된 커리레이티드 지시 훈련 데이터셋은 매우 효과적이었으며, 단 1,000개의 정교하게 선택된 샘플만으로도 이 다중모달 환경에서 뛰어난 성능을 낼 수 있었다.

Figure 2: JAM-Cross, architecture overview. The cross-attention blocks are interleaved between the original LLM block and the Text-Image blocks, and the output embedding between the two branches are concatenated and then projected to the output embedding dimension.