[논문 리뷰] Crossing the Format Boundary of Text and Boxes: Towards Unified Vision-Language Modeling

Zhengyuan Yang, Zhe Gan외 6명|arXiv (Cornell University)|2021. 11. 23.

Multimodal Machine Learning Applications참고 문헌 64인용 수 12

한 줄 요약

UNICORN은 텍스트 생성과 경계 상자 예측을 이산 토큰으로 변환하여 텍스트 토큰과 통합함으로써 단일 시퀀스-투-시퀀스 작업으로 통합하는 비전-언어 모델을 제안한다. 이 모델은 단일 아키텍처를 사용하여 일곱 개의 비전-언어 벤치마크에서 최고 수준 또는 경쟁 가능한 성능을 달성하며, 다중 작업 학습을 가능하게 하고 ImageNet 객체 로컬라이제이션과 같은 새로운 작업으로의 일반화를 가능하게 한다.

ABSTRACT

In this paper, we propose UNICORN, a vision-language (VL) model that unifies text generation and bounding box prediction into a single architecture. Specifically, we quantize each box into four discrete box tokens and serialize them as a sequence, which can be integrated with text tokens. We formulate all VL problems as a generation task, where the target sequence consists of the integrated text and box tokens. We then train a transformer encoder-decoder to predict the target in an auto-regressive manner. With such a unified framework and input-output format, UNICORN achieves comparable performance to task-specific state of the art on 7 VL benchmarks, covering the visual grounding, grounded captioning, visual question answering, and image captioning tasks. When trained with multi-task finetuning, UNICORN can approach different VL tasks with a single set of parameters, thus crossing downstream task boundary. We show that having a single model not only saves parameters, but also further boosts the model performance on certain tasks. Finally, UNICORN shows the capability of generalizing to new tasks such as ImageNet object localization.

연구 동기 및 목표

• 텍스트 생성과 객체 탐지 작업을 단일 비전-언어 모델링 프레임워크로 통합하기 위해.
• 다양한 비전-언어 작업을 위한 전용 아키텍처가 필요 없도록 하나의 모델로 다수의 비전-언어 작업을 훈련시키기 위해.
• 다양한 비전-언어 작업 간의 파rameter 공유를 통해 모델의 효율성과 성능을 향상시키기 위해.
• 아키텍처 수정 없이도 새로운 작업, 예를 들어 ImageNet 객체 로컬라이제이션과 같은 작업으로의 일반화를 가능하게 하기 위해.

제안 방법

• 각 경계 상자를 좌표를 나타내는 네 개의 이산 토큰으로 변환하여 시퀀스 내 텍스트 토큰과 통합할 수 있도록 한다.
• 이산 상자 토큰을 시퀀스로 시리얼라이즈하고 텍스트 토큰과 결합하여 통합 입력 표현을 형성한다.
• 모든 비전-언어 작업을 텍스트 및 상자 토큰 시퀀스의 자동회귀적 시퀀스 생성 작업으로 공식화한다.
• Transformer 인코더-디코더 모델을 엔드 투 엔드로 훈련하여 전체 타겟 시퀀스(텍스트 및 상자 토큰 포함)를 예측한다.
• 공유된 파rameter를 사용하여 다중 작업 피넷유징을 통해 통합 모델을 다양한 최종 작업에 적응시킨다.
• 통합 표현 및 생성 능력을 활용하여 새로운 작업으로의 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비전 기반 기초, 캡션, VQA와 같은 비전-언어 작업들이 단일 시퀀스-투-시퀀스 생성 프레임워크로 통합될 수 있는가?
• RQ2 다양한 비전-언어 작업 간의 파rameter 공유가 모델 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 일체의 아키텍처 수정 없이도 하나의 통합 모델이 새로운, 알려지지 않은 비전-언어 작업(예: ImageNet 객체 로컬라이제이션)으로 일반화될 수 있는가?
• RQ4 이산 상자 토큰을 시퀀스에 통합함으로써 비전과 언어의 공동 모델링이 향상되는가?
• RQ5 다양한 벤치마크에서 통합 모델링과 전용 아키텍처 간의 성능 상충 관계는 어떠한가?

주요 결과

• UNICORN은 비전 기반 기초, 기반 캡션, VQA, 이미지 캡션을 포함한 일곱 개의 비전-언어 벤치마크에서 최고 수준 또는 경쟁 가능한 성능을 달성한다.
• 다중 작업 피넷유징을 통한 통합 모델은 평가된 모든 벤치마크에서 전용 SOTA 모델과 동일하거나 이를 초월하는 성능을 보인다.
• 작업 간 파rameter 공유가 일부 작업에서 성능 향상으로 이어지며, 공동 학습에서 유도적 편향의 이점을 보여준다.
• 아키텍처 변경 없이도 새로운 작업, 예를 들어 ImageNet 객체 로컬라이제이션으로의 효과적인 일반화가 가능하다.
• 경계 상자의 이산 토큰화가 자동회귀 언어 모델링과의 원활한 통합을 가능하게 하여 확장 가능한 통합 표현을 형성한다.