[論文レビュー] Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration

Chenyang Lyu, Minghao Wu+6 more|arXiv (Cornell University)|Jun 15, 2023

Multimodal Machine Learning Applications被引用数 27

ひとこと要約

Macaw-LLM は、画像、ビデオ、音声、テキストを統合する新しい整列モジュールを介してマルチモーダルな指示調整済み LLM であり、単一のモデル内で統一的な処理を可能にします。

ABSTRACT

Although instruction-tuned large language models (LLMs) have exhibited remarkable capabilities across various NLP tasks, their effectiveness on other data modalities beyond text has not been fully studied. In this work, we propose Macaw-LLM, a novel multi-modal LLM that seamlessly integrates visual, audio, and textual information. Macaw-LLM consists of three main components: a modality module for encoding multi-modal data, a cognitive module for harnessing pretrained LLMs, and an alignment module for harmonizing diverse representations. Our novel alignment module seamlessly bridges multi-modal features to textual features, simplifying the adaptation process from the modality modules to the cognitive module. In addition, we construct a large-scale multi-modal instruction dataset in terms of multi-turn dialogue, including 69K image instances and 50K video instances. We have made our data, code and model publicly available, which we hope can pave the way for future research in multi-modal LLMs and expand the capabilities of LLMs to handle diverse data modalities and address complex real-world scenarios.

研究の動機と目的

• 指示調整済み LLM をテキストの範囲を超えて視覚・音声・動画データを処理できるよう拡張する動機づけ。
• 多 Modal データを共同でエンコードし、それらをテキスト埋め込みと整列させるエンドツーエンドのアーキテクチャを提案する。
• すべてのモデルパラメータをエンドツーエンドで微調整するワンステップの指示ファインチューニング手法を導入する。
• 画像および動画モダリティをカバーする大規模なマルチモーダル指示データセットを作成・公開し、マルチモーダル LLM 研究を支援する。

提案手法

• モダリティは、画像と動画に CLIP-ViT-B/16、音声に Whisper-base、認知/テキスト基盤として LLaMA-7B を用いてエンコードされる。
• 整列モジュールは 1-D 畳み込みと線形層を用いてマルチモーダル特徴を固定長に圧縮し、次にテキスト埋め込みに対するアテンションを適用して整列表現を生成する。
• 整列済みの視覚、音声、動画表現をテキスト埋め込みと連結してマルチモーダル指示を形成する。
• ワンステップの指示ファインチューニング目的は、生成された応答に対するネガティブログ尤度を最小化し、すべてのモデルパラメータを共同で更新する。
• The Macaw-LLM instruction dataset は COCO image captions および Charades/AVSD video captions から instruction-response ペアを生成するように GPT-3.5-Turbo にプロンプトを与えることで構築され、テキストのみの instruction データ (Alpaca) を補足している。
• 訓練設定は DeepSpeed を用い、8 Nvidia A100 GPU、デバイスごとのバッチサイズ 4、5 エポック、学習率 3e-5、ウォームアップ 0.03、FP16。

実験結果

リサーチクエスチョン

• RQ1 単一のモデルは、画像、動画、音声、テキストのモダリティを跨いで指示を処理し、従うことができるか？
• RQ2 統一的な整列アプローチは、LLM のバックボーン内で効率的かつ一貫したマルチモーダルの指示フォローを可能にするか？
• RQ3 マルチモーダル LLM におけるワンステップのエンドツーエンド微調整アプローチは、2段階手法と比べてどの程度有効か？
• RQ4 提案された Macaw-LLM データセットは、指示調整を支援する多様で指示に整合したマルチモーダルデータを提供するか？
• RQ5 Macaw-LLM はシングルターン対話において、マルチモーダルコンテンツをどれだけうまく生成し、推論できるか？

主な発見

• Macaw-LLM は新規の整列モジュールを介してマルチモーダル特徴を LLM 入力シーケンスに統合し、統一的な処理を可能にする。
• このモデルは、単一のアーキテクチャ内で画像、動画、音声、およびテキストモダリティの同時処理をサポートする。
• ワンステップの指示ファインチューニングアプローチは、別個のプロジェクション段階の訓練を必要とせず、モダリティと認知的 LLM を一貫して整列させる。
• 著者らは、今後の研究を促進するために、画像および動画に基づく instruction-response ペアを含む大規模な Macaw-LLM instruction dataset を公開する。
• 例は、画像および動画に基づく QA、視覚的推論、音声補助付き動画理解を示し、強力なマルチモーダル能力を示唆する。