[논문 리뷰] Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment

Hao Líu, Wilson Yan외 1명|arXiv (Cornell University)|2023. 02. 02.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 사전에 훈련된 BERT 코드북을 사용하여 텍스트-이미지 데이터 쌍이 필요 없이 이미지를 텍스트 토큰에 정렬하는 방법인 언어 양자화 오토에인코드어(LQAE)를 제안한다. 이미지를 벡터 양자화를 통해 이산적 텍스트 토큰으로 인코딩하고, BERT 기반의 노이즈 제거 오토에인코드어를 통해 재구성함으로써, GPT-3와 같은 대규모 언어 모델을 사용해 소수의 예시로도 이미지 분류를 수행할 수 있게 한다. 이는 수백만 개의 정렬된 쌍으로 훈련된 모델에 비해 경쟁 가능한 성능을 달성한다.

ABSTRACT

Recent progress in scaling up large language models has shown impressive capabilities in performing few-shot learning across a wide range of text-based tasks. However, a key limitation is that these language models fundamentally lack visual perception - a crucial attribute needed to extend these models to be able to interact with the real world and solve vision tasks, such as in visual-question answering and robotics. Prior works have largely connected image to text through pretraining and/or fine-tuning on curated image-text datasets, which can be a costly and expensive process. In order to resolve this limitation, we propose a simple yet effective approach called Language-Quantized AutoEncoder (LQAE), a modification of VQ-VAE that learns to align text-image data in an unsupervised manner by leveraging pretrained language models (e.g., BERT, RoBERTa). Our main idea is to encode image as sequences of text tokens by directly quantizing image embeddings using a pretrained language codebook. We then apply random masking followed by a BERT model, and have the decoder reconstruct the original image from BERT predicted text token embeddings. By doing so, LQAE learns to represent similar images with similar clusters of text tokens, thereby aligning these two modalities without the use of aligned text-image pairs. This enables few-shot image classification with large language models (e.g., GPT-3) as well as linear classification of images based on BERT text features. To the best of our knowledge, our work is the first work that uses unaligned images for multimodal tasks by leveraging the power of pretrained language models.

연구 동기 및 목표

• 대규모 언어 모델이 시각적 데이터를 인식하는 데 한계를 해결하기 위해, 훈련용 데이터 쌍이 없는 시각-언어 정렬을 가능하게 하기 위해.
• 사전에 훈련된 언어 모델의 코드북만을 사용하여 정렬되지 않은 이미지를 의미 있는 텍스트 표현으로 매핑할 수 있는지 탐색하기 위해.
• 이미지의 학습된 텍스트 인코딩을 통해 대규모 언어 모델의 맥락 내 학습 능력을 활용하여 소수의 예시 분류를 가능하게 하기 위해.
• BERT 기반의 노이즈 제거 오토에인코드어를 통해 이미지를 재구성하는 것이 시각적 및 텍스트적 모odalities 간의 암묵적 정렬을 이끌 수 있는지 입증하기 위해.

제안 방법

• 시각 인코더를 사용해 이미지 특징을 추출하고, 16×16 패치로 나누어 각 이미지당 256개의 임bedding을 생성한다.
• 각 이미지 임베딩을 사전에 훈련된 RoBERTa 단어 임베딩 코드북 내 가장 가까운 이웃으로 벡터 양자화하여 이산적 텍스트 토큰의 시퀀스를 생성한다.
• 랜덤 마스킹을 적용한 텍스트 토큰 시퀀스에 BERT 모델을 적용하고, 마스킹되지 않은 토큰들로부터 원본 이미지를 재구성하도록 모델을 훈련한다.
• 오토에인코드어는 이미지 재구성 손실을 최소화하도록 엔드 투 엔드로 훈련되어, 유사한 이미지들이 유사한 텍스트 토큰 시퀀스로 매핑되도록 유도한다.
• 학습된 텍스트 토큰 시퀀스는 선형 프로빙 또는 GPT-3를 통한 소수의 예시 프롬프팅과 같은 후행 작업에 사용된다.
• BERT 컴ponent를 타겟 모odal의 사전에 훈련된 노이즈 제거 모델로 교체함으로써 이 방법은 다른 모odal로도 일반화될 수 있다.

실험 결과

연구 질문

• RQ1 이미지-텍스트 데이터 쌍을 사용하지 않고도 이미지를 텍스트 표현과 효과적으로 정렬할 수 있는가?
• RQ2 이미지 임베딩에서 유도된 텍스트 토큰에 대해 노이즈 제거 오토에인코드어를 훈련시키면 의미 있는 시각적 표현 학습이 이루어지는가?
• RQ3 결과적으로 생성된 텍스트 토큰 시퀀스를 통해 GPT-3와 같은 대규모 언어 모델을 사용해 소수의 예시 분류가 가능한가?
• RQ4 BERT 파인튜닝 중 마스킹 비율이 후행 성능에 어떤 영향을 미치는가?
• RQ5 학습된 정렬이 데이터 희소성과 모델 크기 변화에 얼마나 강건한가?

주요 결과

• LQAE는 소수의 소수 예시만을 사용해 mini-ImageNet에서 경쟁적인 소수의 예시 분류 정확도를 달성하였으며, 단순한 베이스라인을 뛰어넘고, 수백만 개의 정렬된 쌍으로 훈련된 모델의 성능과도 맞먹는다.
• BERT 파인튜닝 중 50%의 마스킹 비율이라도 성능이 잘 유지되어, 재구성 손실 자체만으로도 효과적인 정렬이 가능함을 시사한다.
• LQAE 토큰의 75%를 사용해도 강력한 성능 유지가 가능하여, 학습된 코드 시퀀스 내에 재undancy가 있음을 시사한다.
• 더 큰 언어 모델(예: 175B GPT-3)은 더 작은 모델보다 일관되게 뛰어난 성능을 보이며, 6.7B 모델을 사용한 LQAE는 300만 개의 정렬된 예제로 훈련된 6B 모델을 사용한 Frozen 모델과 경쟁 가능한 성능을 달성한다.
• 아블레이션 실험 결과, VQ-VAE 코드를 RoBERTa 코드북에 할당하는 것은 성능이 열악하여, 모델이 학습된 텍스트 토큰 내에서 비임의적인 언어적 구조를 활용하고 있음을 시사한다.
• 훈련 중 BERT 사전 훈련 손실이 존재하지 않더라도 성능에 미미한 영향을 미치지 않아, 이미지 재구성이 정렬의 주요 원동력임을 확인한다.