[論文レビュー] 4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities

Roman Bachmann, Oğuzhan Fatih Kar+7 more|arXiv (Cornell University)|Jun 13, 2024

Quality Function Deployment in Product Design被引用数 4

ひとこと要約

本論文は、21種類の多様なモダリティ（画像、テキスト、特徴マップ、人体ポーズ、セマンティックインスタンスなど）を、モダリティ固有の離散トークン化を用いて統合的に学習した単一の統合視覚モデル4M-21を紹介する。性能の低下を伴わず数十のタスクで最先端の性能を達成し、任意のモダリティ間の生成と視覚・言語の共同学習を可能にし、30億パラメータにスケーリングする。

ABSTRACT

Current multimodal and multitask foundation models like 4M or UnifiedIO show promising results, but in practice their out-of-the-box abilities to accept diverse inputs and perform diverse tasks are limited by the (usually rather small) number of modalities and tasks they are trained on. In this paper, we expand upon the capabilities of them by training a single model on tens of highly diverse modalities and by performing co-training on large-scale multimodal datasets and text corpora. This includes training on several semantic and geometric modalities, feature maps from recent state of the art models like DINOv2 and ImageBind, pseudo labels of specialist models like SAM and 4DHumans, and a range of new modalities that allow for novel ways to interact with the model and steer the generation, for example image metadata or color palettes. A crucial step in this process is performing discrete tokenization on various modalities, whether they are image-like, neural network feature maps, vectors, structured data like instance segmentation or human poses, or data that can be represented as text. Through this, we expand on the out-of-the-box capabilities of multimodal models and specifically show the possibility of training one model to solve at least 3x more tasks/modalities than existing ones and doing so without a loss in performance. This enables more fine-grained and controllable multimodal generation capabilities and allows us to study the distillation of models trained on diverse data and objectives into a unified model. We successfully scale the training to a three billion parameter model using tens of modalities and different datasets. The resulting models and training code are open sourced at 4m.epfl.ch.

研究の動機と目的

• 既存の基盤モデルが少数のモダリティとタスクしかサポートしないという限界を解消すること。
• データ型や次元が異なる多様なモダリティにスケーリングする際のマルチタスク学習における性能の低下を克服すること。
• 人体ポーズ、セグメンテーションマスク、カラーパレットなどの構造的・意味的モダリティを統合することで、細粒度で制御可能なマルチモーダル生成を可能にすること。
• 視覚と言語の目的関数を1つのモデルに統合的に学習させることで、負の伝播が生じないことを実証すること。
• 30億パラメータ、0.5億のトレーニングサンプルにスケーリングしながら、すべてのタスクで優れた性能を維持すること。

提案手法

• すべての入力と出力を共通の離散トークン空間にマップする、マルチモーダルマスクモデルに基づく1つのTransformerベースのモデルを訓練する。
• モダリティ固有の離散トークン化器を適用：画像系データ（RGB、エッジ）にはViTベースのVQ-VAE、ベクトル系データ（DINOv2、ImageBind）にはMLPベースのVAE、テキスト系データ（キャプション、メタデータ）にはWordPieceトークナイザーを用いる。
• RGB画像、深度、法線、セマンティックセグメンテーション、インスタンスマスク（SAM）、3次元人体ポーズ（4DHumans）、Cannyエッジ、カラーパレット、T5-XXLテキスト埋め込みを含む多様なモダリティを統合する。
• 大規模なマルチモーダルデータセット（例：CC12M）とテキストコーパスを用いて、視覚と言語の目的関数を共同で最適化する共同学習を実施する。
• 再構成評価指標としてIoUを用い、SAMインスタンスの再構成においてL1、MSE、交差エントロピー、Dice損失をアブレーションし、トークナイゼーション方式を最適化する。
• 128台のA100 GPUを用いて最大11日間、30億パラメータにスケーリングしたトレーニングを実施。各10個の補助トークナイザーは別途8台のA100 GPUで専用トレーニングを実施。

実験結果

リサーチクエスチョン

• RQ1 性能の低下を伴わず、数十種類の多様なモダリティを統合的に学習できる単一の統合モデルを構築できるか？
• RQ2 モダリティ固有の離散トークン化は、画像、ベクトル、構造的ポーズといった異種のデータタイプ間での有効な表現学習をどのように可能にするか？
• RQ3 視覚と言語の目的関数を共同で学習させることで、統合モデルにおける一般化性能とゼロショット転移性能がどの程度向上するか？
• RQ4 インスタンスマスクのような複雑なモダリティをトークン化する際、再構成品質とシーケンス長の最適なトレードオフは何か？
• RQ5 カラーパレットやメタデータのような新規モダリティを含め、任意のモダリティ間の生成を高精度かつ制御可能にサポートできるか？

主な発見

• 4M-21は21種類の多様なモダリティで最先端の性能を達成し、既存の任意のモダリティ間生成モデルの3倍以上のモダリティをカバーするが、専用モデルと比較して性能の低下がない。
• モデルは強力なゼロショット一般化性能と制御可能な生成を示しており、21種類すべてのモダリティにわたるワンからすべてへの生成も可能である。
• SAMインスタンスのマスクベーストークナイゼーションにおいて、16トークン、1024語彙サイズ、64×64解像度が、再構成品質（IoU）とシーケンス長のバランスが最良であった。
• マスクトークナイゼーションにおいて、交差エントロピー損失がL1やMSE損失よりも滑らかで、より良いカバー範囲の再構成を実現した。
• モデル本体のトレーニングには約12万時間のA100使用時間が必要であり、トークナイザーのトレーニングに追加で60,000時間のA100使用時間が必要で、合計で約15万時間のA100使用時間となった。
• モデルは3次元人体ポーズ、画像埋め込み、カラーパレットなどのモダリティ間でクロスモーダル検索と生成を可能にし、新たなインタラクションパラダイムを実現した。