[논문 리뷰] Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization

Yang Jin, Kun Xu외 14명|arXiv (Cornell University)|2023. 09. 09.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 이미지를 순차적인 이산 토큰으로 변환하는 동적 이산 시각 토크나이저를 사용하여 언어와 시각을 통합하는 기초 모델인 LaVIT을 제안한다. 이는 텍스트와 함께 단일 생성 목표 아래에서 엔드 투 엔드 자동회귀 미리 훈련이 가능하게 한다. 이 방법은 이미지를 LLM이 읽을 수 있는 '외국어'로 간주함으로써 시각-언어 벤치마크에서 최신 기술 성능을 달성하며, 동적 토크나이징을 통해 계산량을 36% 감소시키고 고정 길이 기반 모델 대비 정확도를 향상시킨다.

ABSTRACT

Recently, the remarkable advance of the Large Language Model (LLM) has inspired researchers to transfer its extraordinary reasoning capability to both vision and language data. However, the prevailing approaches primarily regard the visual input as a prompt and focus exclusively on optimizing the text generation process conditioned upon vision content by a frozen LLM. Such an inequitable treatment of vision and language heavily constrains the model's potential. In this paper, we break through this limitation by representing both vision and language in a unified form. Specifically, we introduce a well-designed visual tokenizer to translate the non-linguistic image into a sequence of discrete tokens like a foreign language that LLM can read. The resulting visual tokens encompass high-level semantics worthy of a word and also support dynamic sequence length varying from the image. Coped with this tokenizer, the presented foundation model called LaVIT can handle both image and text indiscriminately under the same generative learning paradigm. This unification empowers LaVIT to serve as an impressive generalist interface to understand and generate multi-modal content simultaneously. Extensive experiments further showcase that it outperforms the existing models by a large margin on massive vision-language tasks. Our code and models are available at https://github.com/jy0205/LaVIT.

연구 동기 및 목표

• 기존 다중모달 대규모 언어 모델(MLLM)에서 시각이 텍스트 생성을 위한 단순한 프롬프트로 간주되는 불균형한 처리를 해결하기 위해.
• 시각 입력을 LLM의 자동회귀적 다음 토큰 예측과 호환되는 이산 토큰 형식으로 표현하여 공동 다중모달 미리 훈련을 가능하게 하기 위해.
• 이미지의 복잡성과 의미 정보량에 따라 시각 토큰을 동적으로 할당하여 계산 비용과 중복을 줄이기 위해.
• 이산 시각 토큰 기반의 통합 생성 미리 훈련이 다중모달 이해 및 생성에서 회귀 기반 또는 어댑터 기반 접근 방식보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 학습 가능한 코드북과 패치 선택기(선택자)를 사용하여 이미지 패치를 이산 시각 토큰으로 변환하는 동적 시각 토크나이저를 도입한다.
• 이중 단계 메커니즘을 활용한다: 첫 번째로 선택기는 이미지에서 가장 의미 정보가 풍부한 패치를 식별하고, 두 번째로 융합기(머저)는 이를 가변 길이의 이산 토큰 시퀀스로 압축한다.
• 다음 이산 시각 토큰을 자동회귀적으로 예측하기 위해 교차 엔트로피 손실을 사용하며, 이는 텍스트 토큰의 최적화 목표와 일치시킨다.
• 토크나이징 이전에 고급 의미 표현을 확보하기 위해 사전 훈련된 시각 인코더(예: CLIP ViT-L/14)를 사용하여 패치 특징을 추출한다.
• 텍스트와 시각 토큰 모두에 대해 통합된 다음 토큰 예측 목표를 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 학습된 코드북은 의미적으로 유의미한 시각 토큰을 생성한다. 예를 들어 스케이트보드 부품이나 기린 무늬를 나타내는 등, 이해 가능성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 LLM의 자동회귀 훈련 파라다임과 호환되는 이산 토큰 형식으로 시각 입력을 효과적으로 표현할 수 있는가?
• RQ2 고정 길이 시각 토크나이징 대비 동적 토큰 할당 전략이 효율성과 성능 향상에 기여하는가?
• RQ3 시각과 언어에 대해 통합된 다음 토큰 예측 목표가 어댑터 기반 또는 회귀 기반 MLLM 접근 방식보다 우수한가?
• RQ4 연속적 특징 회귀 대비 이산 시각 토크나이징이 다중모달 이해 및 생성 능력 향상에 얼마나 기여하는가?
• RQ5 학습된 시각 코드의 해석 가능성과 의미 일관성은 표준 ViT 스타일 패치 표현 방식과 비교해 어떻게 다른가?

주요 결과

• LaVIT는 Flickr에서 74.0 FID, VQAv2에서 57.7, OKVQA에서 47.6을 기록하며, 고정 길이 기반 모델 대비 각각 2.9, 1.2, 1.2 포인트 우수하다.
• 동적 토크나이징 전략으로 평균 시각 토큰 수가 256에서 94로 감소하여 훈련 시간을 40% 단축하고 추론 비용도 크게 감소시켰다.
• 이산 토큰 예측을 시각적 특징 회귀로 대체할 경우 성능 저하가 발생함을 확인하여, 통합 학습에 있어 이산 토크나이징의 우수성을 입증했다.
• 시각 토크나이저는 의미 정보가 풍부한 패치를 동적으로 선택하여 중복되거나 배경 콘텐츠를 걸러내어 효율성과 표현 품질을 향상시켰다.
• 학습된 코드북은 의미적으로 해석 가능한 시각 토큰을 생성한다. 예를 들어 코드 4107은 스케이트보드 부품을, 코드 9146은 기린 무늬를 나타내며, 이는 이해 가능성의 향상을 보여준다.
• LaVIT는 미세조정 없이도 복잡한 이미지 편집(예: 고양이 콧수염이 달린 개 초상화)을 생성할 수 있어 강력한 제로샷 다중모달 생성 능력을 입증했다.