[論文レビュー] AnyMAL: An Efficient and Scalable Any-Modality Augmented Language Model

Seungwhan Moon, Andrea Madotto+11 more|arXiv (Cornell University)|Sep 27, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

AnyMAL は、70Bパラメータの LLaMA-2 モデルのテキスト埋め込み空間へ、モality固有のアダプタを介してテキスト、画像、動画、音声、IMUセンサデータといった多様な入力を統合するスケーラブルで効率的なマルチモーダル言語モデルである。新規の高品質なマルチモーダルインstructデータセット（MM-IT）を用いたインstructチューニングにより、VQAv2 で +7.0% の精度向上、AudioCaps で +14.5% の CIDEr 向上を達成し、マルチモーダルベンチマークで最先端の性能を実現した。

ABSTRACT

We present Any-Modality Augmented Language Model (AnyMAL), a unified model that reasons over diverse input modality signals (i.e. text, image, video, audio, IMU motion sensor), and generates textual responses. AnyMAL inherits the powerful text-based reasoning abilities of the state-of-the-art LLMs including LLaMA-2 (70B), and converts modality-specific signals to the joint textual space through a pre-trained aligner module. To further strengthen the multimodal LLM's capabilities, we fine-tune the model with a multimodal instruction set manually collected to cover diverse topics and tasks beyond simple QAs. We conduct comprehensive empirical analysis comprising both human and automatic evaluations, and demonstrate state-of-the-art performance on various multimodal tasks.

研究の動機と目的

• テキストと画像を超える多様なモダリティをサポートするオープンソースでスケーラブルなマルチモーダル LLM の不足に対処する。
• 統一されたテキストベースの推論フレームワークを用いて、画像 + 音声 + 動作センサなどの混合マルチモーダル入力の共同推論を可能にする。
• 従来のモデルの限界を克服するため、単純なQAを越えた複雑で制約のないマルチモーダルタスクにまでインstructチューニングを拡張する。
• 大規模言語モデルの推論能力を保持しつつマルチモーダル理解を可能にする、スケーラブルで効率的なトレーニングレシピを開発する。

提案手法

• 画像、動画、音声、IMU信号からの入力を、事前学習済みの LLaMA-2-70B モデルのテキスト埋め込み空間に、モダリティ固有の軽量アダプタを用いてマッピングする。
• 事前にテキスト空間に同期済みのエンコーダー（例：CLIP、CLAP、IMU2CLIP）を活用することで、特徴の互換性を確保し、トレーニングコストを低減する。
• 推論能力を維持し、収束を加速させるために、LLM パrameters をトレーニング中固定し、アダプタおよびプロジェクションレイヤーのみを微調整する。
• 共通の統合トークン空間を用いて、ペアドされたモダリティ信号とテキストナレーション間の対照的損失を用いて同期を学習する。
• 画像、動画、音声のタスクを網羅する多様なドメインをカバーする、新規に収集された高品質なマルチモーダルインstructチューニングデータセット（MM-IT）を用いて、フルモデルを微調整する。
• 推論時に安全対策を実施し、画像、テキスト、マルチモーダル分類器を用いて有害な入力や出力を検出し拒否する。

Figure 1 : Example AnyMAL outputs. The model understands various input signals ( i.e . vision, audio, motion sensor signals), and responds to free-form user queries. When multiple modalities are interleaved and given as input ( e.g . right-most: image + IMU motion sensor signals), the model reasons

実験結果

リサーチクエスチョン

• RQ1 テキストベースの推論空間に、テキスト、画像、動画、音声、IMU といった多様なモダリティを、モデル性能に影響を与えずに統合するための統一的でスケーラブルなフレームワークは、実際に有効であるか？
• RQ2 多様で手作業で選別されたマルチモーダルインstructデータセットを用いたインストラクションチューニングは、標準的なQAタスクを超えた推論能力の向上にどの程度寄与するか？
• RQ3 大規模でオープンソースのマルチモーダル LLM は、複数のベンチマークで最先端の性能を達成しつつ、安全性と整合性を維持できるか？
• RQ4 大規模言語モデルのファインチューニングを伴わず、効率的でスケーラブルなマルチモーダル同期を実現するための、主なアーキテクチャ的およびトレーニング上の選択肢は何か？

主な発見

• AnyMAL は、先行モデルと比較して VQAv2 ベンチマークで +7.0% の相対的精度向上を達成し、強力な視覚的推論能力を示した。
• ゼロショット COCO 画像キャプションタスクにおいて、既存モデルと比較して +8.4% の CIDEr スコア向上を達成し、新たな最先端性能を樹立した。
• AudioCaps ベンチマークでは、ゼロショットキャプションタスクで +14.5% の CIDEr スコア向上を達成し、優れた音声理解と生成能力を示した。
• モデルは画像 + IMU + テキストのような混合マルチモーダルプロンプトを効果的にサポートし、統合された感覚入力の共同推論を可能にした。
• 人間による評価では、多様なマルチモーダルタスクにおいて、より正確で一貫性があり、文脈に根ざした応答を生成することが確認された。
• 推論時の安全対策は、偏見や不適切な内容を生じる可能性のあるマルチモーダルな関連性を含め、有害な入力や出力を効果的に検出し拒否した。

Figure 2 : AnyMAL Training. (a) Modality alignment pre-training allows for mapping the output of each modality encoder into the joint LLM embeddings space through projection layers. (b) With multimodal instruction tuning, the model learns to associate system instructions and text queries with input