[논문 리뷰] 4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities
이 논문은 이미지, 텍스트, 특징 맵, 인간 자세, 의미적 인스턴스 등을 포함한 21개의 다양한 모odalities를 모달리티별로 이산 토큰화하는 방식으로 훈련된 단일 통합 시각 모델 4M-21을 소개한다. 성능 저하 없이 수십 가지 작업에서 최신 기준 성능을 달성하며, 어떤 모odalities 간이든 생성이 가능하고, 시각 및 언어 작업을 동시에 학습할 수 있으며, 30억 파라미터로 확장된다.
Current multimodal and multitask foundation models like 4M or UnifiedIO show promising results, but in practice their out-of-the-box abilities to accept diverse inputs and perform diverse tasks are limited by the (usually rather small) number of modalities and tasks they are trained on. In this paper, we expand upon the capabilities of them by training a single model on tens of highly diverse modalities and by performing co-training on large-scale multimodal datasets and text corpora. This includes training on several semantic and geometric modalities, feature maps from recent state of the art models like DINOv2 and ImageBind, pseudo labels of specialist models like SAM and 4DHumans, and a range of new modalities that allow for novel ways to interact with the model and steer the generation, for example image metadata or color palettes. A crucial step in this process is performing discrete tokenization on various modalities, whether they are image-like, neural network feature maps, vectors, structured data like instance segmentation or human poses, or data that can be represented as text. Through this, we expand on the out-of-the-box capabilities of multimodal models and specifically show the possibility of training one model to solve at least 3x more tasks/modalities than existing ones and doing so without a loss in performance. This enables more fine-grained and controllable multimodal generation capabilities and allows us to study the distillation of models trained on diverse data and objectives into a unified model. We successfully scale the training to a three billion parameter model using tens of modalities and different datasets. The resulting models and training code are open sourced at 4m.epfl.ch.
연구 동기 및 목표
- 기존 기초 모델이 지원하는 모달리티와 작업의 수가 적어 즉시 사용이 어려운 문제를 해결한다.
- 다양한 데이터 유형과 차원을 가진 매우 다양한 모달리티로 확장할 때 다중작업 학습에서의 성능 저하 문제를 해결한다.
- 인간 자세, 세분화 마스크, 색상 팔레트와 같은 구조적이고 의미적인 모달리티를 통합함으로써 세밀하고 제어 가능한 다중모달 생성을 가능하게 한다.
- 시각 및 언어 목표를 동시에 학습하는 것이 단일 모델에서 부정적 전이 없이 효과적으로 통합될 수 있음을 입증한다.
- 모델을 30억 파라미터로 확장하고, 5억 개의 훈련 샘플을 처리하면서도 모든 작업에서 뛰어난 성능을 유지한다.
제안 방법
- 모든 입력 및 출력을 공통의 이산 토큰 공간으로 매핑하는 다중모달 마스킹 모델링을 사용해 단일 트랜스포머 기반 모델을 훈련한다.
- 모달리티별로 이산 토큰화기를 적용한다: RGB, 에지와 같은 이미지 유사 데이터에는 ViT 기반 VQ-VAE를, DINOv2, ImageBind와 같은 벡터 데이터에는 MLP 기반 VAE를, 캡션, 메타데이터와 같은 텍스트 유사 데이터에는 WordPiece 토큰화기를 사용한다.
- RGB 이미지, 깊이, 노말, 의미적 세분화, 인스턴스 마스크(SAM), 3D 인간 자세(4DHumans), Canny 에지, 색상 팔레트, T5-XXL 텍스트 임베딩 등 다양한 모달리티를 통합한다.
- 대규모 다중모달 데이터셋(예: CC12M)과 텍스트 코퍼스를 사용해 시각 및 언어 목표를 공동으로 최적화하는 공동 학습을 수행한다.
- 재구성 정확도를 측정하기 위해 IoU를 사용하면서, L1, MSE, 교차 엔트로피, Dice 손실을 평가하는 아블레이션을 통해 토큰화 기법을 최적화한다. 이때 SAM 인스턴스를 대상으로 한다.
- 128개의 A100 GPU를 사용해 최대 11일 동안 30억 파라미터로 확장된 훈련을 수행하며, 각각 8개의 A100 GPU를 할당해 10개의 보조 토큰화기 전용 훈련을 실시한다.
실험 결과
연구 질문
- RQ1특화된 모델과 비교해 성능 저하 없이, 20개 이상의 매우 다양한 모달리티에 대해 단일 통합 모델을 훈련시킬 수 있는가?
- RQ2모달리티별로 이산 토큰화하는 방식이 이미지, 벡터, 구조적 자세와 같은 이질적인 데이터 유형 간 효과적인 표현 학습을 어떻게 가능하게 하는가?
- RQ3시각 및 언어 목표를 함께 학습함으로써 통합 모델의 일반화 능력과 제로샷 전이 성능가 얼마나 향상되는가?
- RQ4인스턴스 세분화 마스크와 같은 복잡한 모달리티를 토큰화할 때, 재구성 품질과 시퀀스 길이 사이의 최적의 트레이드오프는 무엇인가?
- RQ5색상 팔레트, 메타데이터와 같은 새로운 모달리티까지 포함해, 어떤 모달리티 간이든 생성이 가능하고 고해상도 및 제어 가능성이 높은가?
주요 결과
- 4M-21은 21개의 다양한 모달리티에서 최신 기준 성능을 달성했으며, 기존의 어떤-to-any 모델보다 3배 더 많은 모달리티를 지원하면서도 특화된 모델과 비교해 성능 저하 없이 작동한다.
- 모델는 강력한 제로샷 일반화 능력과 제어 가능한 생성 기능을 보이며, 21개의 모든 모달리티에 대해 일대다 생성이 가능하다.
- SAM 인스턴스의 마스크 기반 토큰화에서 16개의 토큰, 1024개의 어휘 크기, 64×64 해상도 조합이 재구성 정확도(IoU)와 시퀀스 길이 사이의 최적 균형을 이룬다.
- 마스크 토큰화에서 교차 엔트로피 손실이 L1이나 MSE 손실보다 더 매끄럽고 더 잘 커버된 재구성 결과를 만들어 냈다.
- 모델 전체 훈련에는 약 12만 시간의 A100 사용 시간이 소요되었으며, 토큰화기 훈련에 추가로 60,000 A100일이 더 소요되어 전체 프로젝트에 약 15만 A100시간이 소요되었다.
- 모델는 3D 인간 자세, 이미지 임베딩, 색상 팔레트 등의 모달리티 간에 교차 모달 검색 및 생성을 지원하며, 새로운 상호작용 패러다임을 가능하게 한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.