[논문 리뷰] The Evolution of Multimodal Model Architectures

Shakti N. Wadekar, Abhishek Chaurasia외 2명|arXiv (Cornell University)|2024. 05. 28.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 다중모态 모델 아키텍처의 네 가지 유형—Type-A(표준 크로스 어텐션), Type-B(사용자 정의 융합 레이어), Type-C(비토큰화된 초기 융합), Type-D(토큰화된 초기 융합)—을 제안하여 진화하는 다중모달 환경을 체계화한다. Type-C와 Type-D는 어떤 모달 간 생성에도 주로 사용되며, 복잡성, 확장성, 학습 목표 간의 상충 관계를 고려한 모델 선택을 위한 체계적인 프레임워크를 제공한다.

ABSTRACT

This work uniquely identifies and characterizes four prevalent multimodal model architectural patterns in the contemporary multimodal landscape. Systematically categorizing models by architecture type facilitates monitoring of developments in the multimodal domain. Distinct from recent survey papers that present general information on multimodal architectures, this research conducts a comprehensive exploration of architectural details and identifies four specific architectural types. The types are distinguished by their respective methodologies for integrating multimodal inputs into the deep neural network model. The first two types (Type A and B) deeply fuses multimodal inputs within the internal layers of the model, whereas the following two types (Type C and D) facilitate early fusion at the input stage. Type-A employs standard cross-attention, whereas Type-B utilizes custom-designed layers for modality fusion within the internal layers. On the other hand, Type-C utilizes modality-specific encoders, while Type-D leverages tokenizers to process the modalities at the model's input stage. The identified architecture types aid the monitoring of any-to-any multimodal model development. Notably, Type-C and Type-D are currently favored in the construction of any-to-any multimodal models. Type-C, distinguished by its non-tokenizing multimodal model architecture, is emerging as a viable alternative to Type-D, which utilizes input-tokenizing techniques. To assist in model selection, this work highlights the advantages and disadvantages of each architecture type based on data and compute requirements, architecture complexity, scalability, simplification of adding modalities, training objectives, and any-to-any multimodal generation capability.

연구 동기 및 목표

• 기존 서베이에서 체계적인 분류 부족 문제를 해결하기 위해 다중모달 모델 내에서 네 가지 유형의 아키텍처 패tern을 식별하고 공식화한다.
• 융합 전략과 통합 단계에 기반한 표준화된 분류 체계를 제공함으로써 다중모달 AI의 발전을 보다 효과적으로 모니터링하고 추적할 수 있도록 한다.
• 자료 효율성, 확장성, 학습 복잡성에서의 아키텍처 상충 관계를 비교함으로써 어떤 모달 간 다중모달 모델의 설계 및 선택을 지원한다.
• 엔드 투 엔드 및 에이전트 보강형 생성에 특히 적합한 다음 세대 다중모달 시스템에서 Type-C와 Type-D 아키텍처의 지배적 위치를 부각한다.
• 연구자와 실무자가 특정 응용 제약 조건에 기반해 평가하고 아키텍처를 선택할 수 있도록 모델에 종속되지 않는 종합적인 프레임워크를 제공한다.

제안 방법

• 융합 시점과 메커니즘에 기반해 네 유형의 분류 체계를 제안: Type-A(표준 크로스 어텐션), Type-B(사용자 정의 융합 레이어), Type-C(비토큰화된 초기 융합), Type-D(토큰화된 초기 융합).
• 아키텍처 및 융합 전략 분석을 통해 최신 모델들(예: Flamingo, CLIP, Unified-IO, CoDI, NExT-GPT, ModaVerse)을 네 가지 아키텍처 유형으로 분류한다.
• 모odal별 인코더(예: Type-C), 토크나이저(예: Type-D), 어텐션 메커니즘(예: Type-A/B) 등의 아키텍처 구성 요소를 분석하여 구조적 차이를 정의한다.
• 자료 및 계산 자원 요구량, 복잡성, 확장성, 모달 확장성, 학습 목표, 어떤 모달 간 생성 능력 등 핵심 차원에서 각 아키텍처 유형을 평가한다.
• 모델의 진화와 다중모달 영역 내 아키텍처 트렌드를 맵핑하기 위해 시각적 분류 체계(그림 2)와 시계열도(그림 1)를 제안한다.
• Type-C와 유사한 구조를 가진 상태공간 모델(SSM)인 VL-Mamba와 Cobra와 같은 새로운 대안을 탐색하며, 향후 SSM 기반의 어떤 모달 간 다중모달 모델 개발 가능성을 제기한다.

실험 결과

연구 질문

• RQ1 현대 다중모달 모델의 뒤에 깔린 네 가지 유형의 아키텍처 패턴은 무엇이며, 융합 전략과 통합 시점에서 어떻게 다릅니까?
• RQ2 왜 Type-C와 Type-D 아키텍처가 현재 어떤 모달 간 다중모달 모델 구축에 선호되며, 딥 융합 접근 방식에 비해 어떤 이점이 있습니까?
• RQ3 아키텍처 선택은 다중모달 생성에서 학습 복잡성, 확장성, 다양한 모달을 지원하는 능력에 어떻게 영향을 미칩니까?
• RQ4 엔드 투 엔드 학습 가능한 모델(Type-C, Type-D)과 하이브리드 에이전트 기반 접근 방식 간의 성능 상충 관계는 무엇입니까?
• RQ5 새로운 아키텍처인 상태공간 모델(SSM)은 기존의 분류 체계에 통합될 수 있으며, 향후 다중모달 모델 설계에 어떤 잠재력을 지닙니까?

주요 결과

• Type-D 모델인 Unified-IO-2는 이미지 생성에서 FID 13.39, 영상 캡션 생성에서 CIDEr 점수 48.8을 기록하여 엔드 투 엔드 다중모달 생성에서 뛰어난 성능을 보였다.
• Type-C 모델인 CoDI는 이미지 생성에서 FID 11.26, 영상 캡션 생성에서 CIDEr 점수 78.9을 기록하여 Type-D보다 뛰어난 이미지 생성 품질과 기준 캡션과의 보다 우수한 일치도를 보였다.
• Type-C 모델인 NExT-GPT는 음성 생성에서 CIDEr 점수 156.7, CLIPSIM에서 0.802를 기록하여 음성-영상 간 및 다중모달 일치 작업에서 다른 모델들을 능가했다.
• 에이전트를 결합한 ModaVerse는 FID 11.24, CIDEr 151.4를 기록하여, 완전한 엔드 투 엔드 학습이 없는 비엔드 투 엔드 접근 방식이 경쟁 가능한 성능을 낼 수 있음을 보여주었다.
• 본 연구는 Type-C와 Type-D가 어떤 모달 간 다중모달 모델의 두 주요 아키텍처 패러다임임을 규명하였으며, Type-D의 비토큰화 대체 방식으로서 Type-C의 인지도가 높아지고 있음을 확인했다.
• VL-Mamba와 Cobra와 같은 상태공간 모델(SSM)은 Type-C와 유사한 구조를 지니고 있어 향후 SSM 기반의 어떤 모달 간 다중모달 모델 개발 가능성을 시사하지만, 아직 그러한 모델은 개발되지 않았다.