Skip to main content
QUICK REVIEW

[논문 리뷰] Meta-Transformer: A Unified Framework for Multimodal Learning

Yiyuan Zhang, Kaixiong Gong|arXiv (Cornell University)|2023. 07. 20.
Multimodal Machine Learning ApplicationsComputer Science인용 수 45
한 줄 요약

메타-트랜스포머는 12가지 모달리티를 모달리티-불가지 데이터 토크나이저와 태스크별 헤드를 통해 단일 고정 인코더 프레임워크로 통합하고, 언패어 멀티모달 학습을 가능하게 하여 강력한 교차 도메인 결과를 제공합니다.

ABSTRACT

Multimodal learning aims to build models that can process and relate information from multiple modalities. Despite years of development in this field, it still remains challenging to design a unified network for processing various modalities ($ extit{e.g.}$ natural language, 2D images, 3D point clouds, audio, video, time series, tabular data) due to the inherent gaps among them. In this work, we propose a framework, named Meta-Transformer, that leverages a $ extbf{frozen}$ encoder to perform multimodal perception without any paired multimodal training data. In Meta-Transformer, the raw input data from various modalities are mapped into a shared token space, allowing a subsequent encoder with frozen parameters to extract high-level semantic features of the input data. Composed of three main components: a unified data tokenizer, a modality-shared encoder, and task-specific heads for downstream tasks, Meta-Transformer is the first framework to perform unified learning across 12 modalities with unpaired data. Experiments on different benchmarks reveal that Meta-Transformer can handle a wide range of tasks including fundamental perception (text, image, point cloud, audio, video), practical application (X-Ray, infrared, hyperspectral, and IMU), and data mining (graph, tabular, and time-series). Meta-Transformer indicates a promising future for developing unified multimodal intelligence with transformers. Code will be available at https://github.com/invictus717/MetaTransformer

연구 동기 및 목표

  • 모듀얼 모달 인식을 하나의 공통 매개변수 공간으로 통합하기 위해 모달리티-아그나스틱 프레임워크의 설계 필요성을 동기화한다.
  • 모듀얼 모달 토크나이저, 공유된 고정 인코더 및 태스크-특정 헤드를 갖춘 Meta-Transformer를 제안한다.
  • 언패어 데이터와 이미지 기반 사전 학습을 사용하여 12개 모달리티에서 프레임워크를 시연한다.
  • 토크나이제이션, 인코더 공유 및 헤드가 교차 모달 표현과 다운스트림 태스크에 기여하는 방식을 분석한다.

제안 방법

  • 다양한 데이터를 공유 토큰 공간으로 매핑하는 모달리티-스펙리스 토크나이저를 도입한다.
  • LAION-2B에서 사전 학습된 파라미터를 가진 모달리티-공유 트랜스포머 인코더와 텍스트를 위한 CLIP 텍스트 토크나이저를 사용하여 통합 백본을 형성한다.
  • 다운스트림 태스크에 맞게 표현을 조정하기 위해 태스크-특정 헤드를 부착하되 백본은 고정된 상태로 유지한다.
  • 학습 가능한 CLS 토큰을 선행하고 시퀀스를 인코딩하기 위한 위치 임베딩을 추가한다.
  • 코어 인코더를 고정된 채로 태스크 헤드(및 경량 토크나이저)를 학습시켜 언패어 멀티모달 학습을 가능하게 한다.

실험 결과

연구 질문

  • RQ1단일 고정 트랜스포머 백본과 모달리티별 토크나이저를 결합하여 12가지 다양한 모달리티를 효과적으로 인코딩할 수 있는가?
  • RQ2언패어 멀티모달 데이터가 텍스트, 이미지, 3D, 오디오, 비디오 및 기타 모달리티 간의 통합된 지각을 얼마나 지원할 수 있는가?
  • RQ3임베딩, 토크나이제이션 전략 및 다운스트림 헤드가 모달리티 간 경쟁력 있는 다운스트림 성능을 산출하는 방식은 무엇인가?

주요 결과

  • 프레임워크는 공유 인코더와 언패어 데이터로 12개 모달리티를 지원하며 벤치마크에서 경쟁력 있는 결과를 달성한다.
  • 메타-트랜스포머-B16_F를 CLIP 텍스트 인코더와 함께 사용할 때 이미지넷-1K에서 제로샷 이미지 분류가 69.3%에 도달하고, 튜닝으로 B16_T의 85.4%, L14_T의 88.1%로 개선된다.
  • GLUE 텍스트 이해에서 이미지에서 사전 학습된 상태로 54.6(SST-2), 81.1(MRPC), 66.0(QQP), 63.4(MNLI), 56.3(QNLI); 튜닝 후 각각 81.3, 81.8, 78.0, 70.0, 60.3이다.
  • 이미지 이해에서 Meta-Transformer-L14_T는 ImageNet-1K에서 88.1% 상단 정확도와 객체 탐지에서 56.3% AP, 의미 분할 mIoU가 55.0%(L14_T)이다.
  • 적외선/고해상도 분광/ X선 영역에서 Meta-Transformer는 B16_F와 함께 73.50%의 Rank-1 적외선, 65.19%의 mAP를 경쟁적으로 달성하며, X선 정확도는 94.1%로 달성하되 학습 가능한 매개변수는 매우 적다(0.75M).
  • 포인트 클라우드 결과는 2D 백본과의 경쟁력 있는 성능을 보이며, 예를 들어 Meta-Transformer-B16_F가 ModelNet-40에서 93.6% OA, S3DIS Area-5에서 83.5% mIoU를 달성하며 매개변수 수가 작다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.