[논문 리뷰] SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs

Lijun Yu, Yong Cheng외 11명|arXiv (Cornell University)|2023. 06. 30.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 냉각된 대규모 언어 모델(LLM)이 이미지를 이해하고 생성할 수 있도록 하는 의미적 피라미드 오토인코더(SPAE)를 제안한다. 이 방법은 학습된 벡터 양자화기를 통해 이미지를 이해할 수 있고 의미적으로 풍부한 어휘 토큰으로 변환함으로써, 냉각된 LLM이 다중모달 이미지 이해 및 생성을 가능하게 한다. SPAE는 다중 스케일 피라미드 구조를 사용하여 고수준의 의미 정보와 세밀한 시각적 세부 정보를 모두 인코딩하며, 이전 방법 대비 소수의 샘플 이미지 분류 정확도에서 25%p의 절대적 향상을 달성한다. 또한, 커텍스트 내 학습을 통해 영zero-샷 이미지 생성도 가능하다.

ABSTRACT

In this work, we introduce Semantic Pyramid AutoEncoder (SPAE) for enabling frozen LLMs to perform both understanding and generation tasks involving non-linguistic modalities such as images or videos. SPAE converts between raw pixels and interpretable lexical tokens (or words) extracted from the LLM's vocabulary. The resulting tokens capture both the semantic meaning and the fine-grained details needed for visual reconstruction, effectively translating the visual content into a language comprehensible to the LLM, and empowering it to perform a wide array of multimodal tasks. Our approach is validated through in-context learning experiments with frozen PaLM 2 and GPT 3.5 on a diverse set of image understanding and generation tasks. Our method marks the first successful attempt to enable a frozen LLM to generate image content while surpassing state-of-the-art performance in image understanding tasks, under the same setting, by over 25%.

연구 동기 및 목표

• 냉각된 LLM이 파라미터 업데이트 없이도 이미지 및 영상과 관련된 다중모달 작업을 수행할 수 있도록 하는 것.
• 냉각된 LLM의 어휘 공간과 시각적 모odal 간 격차를 이해할 수 있고 의미적으로 유의미한 표현을 통해 다루는 것.
• 모델 파라미터에 관계없이 LLM에 종속되지 않는 확장 가능한 방법을 개발하여, 오직 컨텍스트 내 학습만으로도 이미지 이해 및 생성을 지원하는 것.
• 계층적이고 다중 스케일 피라미드 구조를 활용하여 시각-텍스트 토크나이제이션 과정에서 재구성 품질과 의미의 정확성을 향상시키는 것.

제안 방법

• SPAE는 계층적이고 다중 스케일 피라미드 구조를 사용하며, 상위 레이어는 의미적 개념을 나타내고, 하위 레이어는 세밀한 시각적 세부 정보를 인코딩한다.
• 모델은 이미지 특징을 냉각된 LLM의 어휘에 포함된 이산적이고 이해할 수 있는 토큰으로 매핑하기 위해 학습된 벡터 양자화기를 사용한다. 이는 냉각된 LLM과 직접 상호작용할 수 있도록 한다.
• 각 레이어의 임계값을 갖는 동적 의미 손실을 통해 상위 레이어에서는 의미 정보를 유지하고, 하위 레이어에서는 재구성 정확도를 확보한다.
• 사전 훈련된 네트워크에서 유도된 인지적 손실을 통합하여 이미지 재구성 품질을 향상시키지만, 분석 결과 이 손실을 제거해도 분류 성능에 거의 영향을 주지 않는다.
• 토큰 길이를 조절할 수 있도록 설계되어, 이해 작업에는 적은 수의 토큰을, 생성 작업에는 많은 수의 토큰을 사용함으로써 컨텍스트 창 제약 조건을 효율적으로 활용할 수 있다.
• SPAE 전체 모델은 LLM을 통해 역전파를 수행하지 않도록 훈련되기 때문에, 어떤 냉각된 LLM과도 호환 가능하다.

Figure 1 : Framework of the proposed SPAE model. An image is encoded into a pyramid of lexical tokens capturing semantic concepts and appearance details necessary for reconstruction.

실험 결과

연구 질문

• RQ1 냉각된 LLM에 대한 파라미터 업데이트 없이도 이미지 생성에 효과적으로 활용될 수 있는가?
• RQ2 시각적 콘텐츠를 냉각된 LLM의 어휘와 호환되는 이산적이고 이해할 수 있으며 의미적으로 의미 있는 토큰 공간으로 매핑할 수 있는가?
• RQ3 어떤 아키텍처 설계가 통합된 다중모달 표현에서 고수준의 의미 이해와 세밀한 재구성 기능을 동시에 가능하게 하는가?
• RQ4 평탄하거나 표준 VQ-VAE 방식에 비해 계층적 피라미드 구조를 가진 토큰화 방식이 다양한 다중모달 작업에서 성능 향상에 얼마나 기여하는가?
• RQ5 냉각된 LLM을 사용한 컨텍스트 내 학습이 의미 인식 시각 토크나이저와 결합될 경우, 이미지 이해 과제에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SPAE는 동일한 컨텍스트 내 학습 설정에서 기존 최고 성능 기준(40.1%) 대비 소수의 샘플 이미지 분류 정확도에서 25%p 절대적 향상을 달성하여, mini-ImageNet에서 65.1%의 정확도를 기록했다.
• 이 방법은 컨텍스트 내 노이즈 제거를 통한 영zero-샷 이미지 생성을 가능하게 하여, 냉각된 LLM을 직접적으로 이미지 생성에 사용한 최초의 성공적인 시도이다.
• 기저 레이어에 597개의 토큰을 가진 6층 피라미드 구조가 재구성 품질(FID: 4.41)과 의미 정확도 사이의 최적의 균형을 이룬다.
• 인지적 손실을 제거하면 놀랍게도 분류 정확도가 향상되며(69.5% 대비 65.1%), 그러나 이미지 재구성 품질은 떨어지므로 의미 정확성과 인지적 정확성 사이에 상충 관계가 있음을 시사한다.
• 아블레이션 연구 결과, 동적 의미 가중치와 각 레이어의 임계값 설정이 성능 향상에 특히 기여하며, 분류 과제에서 두드러진다.
• 이 방법은 LLM에 종속되지 않으며, PaLM 2와 GPT-3.5 모두에서 성공적으로 평가되어 기존의 냉각된 LLM과의 광범위한 호환성을 입증했다.

Figure 2 : An example of the conditional image denoising task for high resolution synthesis. The context comprises images randomly corrupted in the token space.