[論文レビュー] The Evolution of Multimodal Model Architectures

Shakti N. Wadekar, Abhishek Chaurasia+2 more|arXiv (Cornell University)|May 28, 2024

Speech and dialogue systems被引用数 4

ひとこと要約

本論文は、4つの明確に区別できるマルチモーダルモデルアーキテクチャ—Type-A（標準的クロスアテンション）、Type-B（カスタム統合レイヤー）、Type-C（トークン化なしの早期統合）、Type-D（トークン化ありの早期統合）—を導入し、進化を遂げるマルチモーダル分野を体系化する。Type-CおよびType-Dは、あらゆるモダリティ間の生成に優位であることが判明し、複雑さ、スケーラビリティ、学習目的のトレードオフに基づくモデル選定のための構造的フレームワークを提供する。

ABSTRACT

This work uniquely identifies and characterizes four prevalent multimodal model architectural patterns in the contemporary multimodal landscape. Systematically categorizing models by architecture type facilitates monitoring of developments in the multimodal domain. Distinct from recent survey papers that present general information on multimodal architectures, this research conducts a comprehensive exploration of architectural details and identifies four specific architectural types. The types are distinguished by their respective methodologies for integrating multimodal inputs into the deep neural network model. The first two types (Type A and B) deeply fuses multimodal inputs within the internal layers of the model, whereas the following two types (Type C and D) facilitate early fusion at the input stage. Type-A employs standard cross-attention, whereas Type-B utilizes custom-designed layers for modality fusion within the internal layers. On the other hand, Type-C utilizes modality-specific encoders, while Type-D leverages tokenizers to process the modalities at the model's input stage. The identified architecture types aid the monitoring of any-to-any multimodal model development. Notably, Type-C and Type-D are currently favored in the construction of any-to-any multimodal models. Type-C, distinguished by its non-tokenizing multimodal model architecture, is emerging as a viable alternative to Type-D, which utilizes input-tokenizing techniques. To assist in model selection, this work highlights the advantages and disadvantages of each architecture type based on data and compute requirements, architecture complexity, scalability, simplification of adding modalities, training objectives, and any-to-any multimodal generation capability.

研究の動機と目的

• 既存のサーベイにおける体系的分類の欠如に応えるために、マルチモーダルモデルにおける4つの明確に区別できるアーキテクチャパターンを同定し、形式化すること。
• 統合戦略と統合段階に基づく標準化された分類体系を提供することで、マルチモーダルAI分野の進展をより良い監視と追跡が可能になるようにすること。
• データ効率性、スケーラビリティ、学習複雑さにおけるアーキテクチャのトレードオフを比較することで、あらゆるモダリティ間のマルチモーダルモデルの設計と選定を支援すること。
• 次世代マルチモーダルシステムにおいて、特にエンド・ツー・エンドおよびエージェント補完型生成において、Type-CおよびType-Dアーキテクチャの優位性が顕著であることを強調すること。
• 研究者および実務家が特定の応用制約に基づいてアーキテクチャを評価・選定できる、包括的でモデルに依存しないフレームワークを提供すること。

提案手法

• 統合タイミングとメカニズムに基づき、4タイプの分類体系を提唱：Type-A（標準的クロスアテンション）、Type-B（カスタム統合レイヤー）、Type-C（トークン化なしの早期統合）、Type-D（トークン化ありの早期統合）。
• アーキテクチャ的特徴と統合戦略分析を用いて、最先端モデル（例：Flamingo、CLIP、Unified-IO、CoDI、NExT-GPT、ModaVerse）を4つのアーキテクチャタイプに分類する。
• モダリティ固有のエンコーダ（Type-C）、トークナイザー（Type-D）、アテンション機構（Type-A/B）などのアーキテクチャ的要素を分析し、構造的差異を明確化する。
• データおよび計算リソース要件、複雑さ、スケーラビリティ、モダリティ拡張性、学習目的、あらゆるモダリティ間生成能力といった主要次元において、各アーキテクチャタイプを評価する。
• 図2の視覚的分類体系と図1のタイムラインを導入し、マルチモーダル分野全体におけるモデルの進化とアーキテクチャのトレンドをマップする。
• VL-Mamba や Cobra といった状態空間モデル（SSMs）のような新たな代替アーキテクチャを検討し、これらは構造的に Type-C に類似しており、将来的な SSM を用いたあらゆるモダリティ間生成モデルの実現可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 現代のマルチモーダルモデルの背後にある4つの明確に区別できるアーキテクチャパターンとは何か？ それぞれの統合戦略と統合タイミングにおいて、どのように異なるのか？
• RQ2 なぜ Type-C および Type-D アーキテクチャが、現在、あらゆるモダリティ間のマルチモーダルモデル構築に好まれているのか？ また、ディープ統合アプローチに比べてどのような利点を提供するのか？
• RQ3 アーキテクチャの選択が、学習の複雑さ、スケーラビリティ、および多様なモダリティのサポート能力にどのように影響を与えるのか？
• RQ4 エンド・ツー・エンドでトレーニング可能なモデル（Type-C、Type-D）とハイブリッド・エージェントベースのアプローチの間には、性能上のトレードオフが存在するのか？
• RQ5 状態空間モデル（SSMs）のような新たなアーキテクチャは、既存の分類体系に統合可能か？ また、今後のマルチモーダルモデル設計における潜在的価値は何か？

主な発見

• Type-D モデルの Unified-IO-2 は、画像生成において FID 13.39、動画キャプション生成において CIDEr スコア 48.8 を達成し、エンド・ツー・エンドのマルチモーダル生成において優れた性能を示している。
• Type-C モデルの CoDI は、FID 11.26 と低く、動画キャプション生成において CIDEr スコア 78.9 を記録しており、Type-D よりも優れた画像生成品質と、参照キャプションとのより良い整合性を示している。
• Type-C モデルの NExT-GPT は、音声生成タスクで CIDEr スコア 156.7、CLIPSIM で 0.802 を達成し、音声から動画への変換およびクロスマodalな整合性タスクで他モデルを上回っている。
• エージェントを統合した ModaVerse は、FID 11.24、CIDEr スコア 151.4 を達成しており、完全なエンド・ツー・エンド学習を欠いているにもかかわらず、競争力のある性能を示している。
• 本研究では、Type-C および Type-D が、あらゆるモダリティ間のマルチモーダルモデルにおける2大支配的アーキテクチャパラダイムであると同定した。特に Type-C は、Type-D の代替として非トークン化アプローチとして注目が集まっている。
• VL-Mamba や Cobra といった状態空間モデル（SSMs）は、構造的に Type-C に類似しており、将来的に SSM を用いたあらゆるモダリティ間生成モデルの実現可能性を示唆しているが、現時点ではそのようなモデルは開発されていない。