[論文レビュー] DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention

Zhewei Yao, Xiaoxia Wu+7 more|arXiv (Cornell University)|Sep 25, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

DeepSpeed-VisualChat は、視覚と言語のモダリティ間で効率的でスケーラブルかつパラメータフリーな注目メカニズムを実現する、新規のマルチモーダル自己回帰注意（MMCA）機構を用いた、完全にオープンソースのフレームワークを提供する。このフレームワークは、データブレンドと最適化されたトレーニングにより、700億パラメータの言語モデルまでスケーラビリティを実現し、追加のパラメータやトレーニングコストなしに、入れ違いの視覚的・言語的推論において最先端の性能を達成する。

ABSTRACT

Most of the existing multi-modal models, hindered by their incapacity to adeptly manage interleaved image-and-text inputs in multi-image, multi-round dialogues, face substantial constraints in resource allocation for training and data accessibility, impacting their adaptability and scalability across varied interaction realms. To address this, we present the DeepSpeed-VisualChat framework, designed to optimize Large Language Models (LLMs) by incorporating multi-modal capabilities, with a focus on enhancing the proficiency of Large Vision and Language Models in handling interleaved inputs. Our framework is notable for (1) its open-source support for multi-round and multi-image dialogues, (2) introducing an innovative multi-modal causal attention mechanism, and (3) utilizing data blending techniques on existing datasets to assure seamless interactions in multi-round, multi-image conversations. Compared to existing frameworks, DeepSpeed-VisualChat shows superior scalability up to 70B parameter language model size, representing a significant advancement in multi-modal language models and setting a solid foundation for future explorations.

研究の動機と目的

• ビジョン・ランゲージモデルにおける、複数ラウンド・マルチイメージで入れ違いのテキストと画像を含む対話のための、オープンソースでスケーラブルなフレームワークの不足に対処すること。
• 既存のモデルが、入れ違いの入力を効果的に処理できないこと、および小規模な大規模言語モデル（LLM）（例：70億〜130億パラメータ）を超えてスケーリングできないという制限を克服すること。
• 追加のモジュールを導入せずに、強力なクロスモダリティ同期を実現する、パラメータ効率の良い注目メカニズムの開発。
• 既存のデータセットを用いたデータブレンド技術により、トレーニング効率とモデルの汎化性能を向上させること。
• DeepSpeedフレームワークを用いて、700億パラメータにまでスケーリング可能なビジョン・ランゲージモデルのスケーラビリティを実証すること。

提案手法

• 視覚と言語のモダリティごとに独立して注目を計算しつつ、追加のパラメータを必要とせずにクロスモダリティ相互作用を可能にする、モダリティ固有の注目メカニズム「マルチモーダル自己回帰注意（MMCA）」を提案。
• 既存のデータセットから入れ違いの画像・テキスト対話を合成するデータブレンド技術を採用し、このようなトレーニングデータの不足を補う。
• 700億パラメータの大型モデル（最大700億パラメータ）の効率的かつスケーラブルなトレーニングを実現するため、ZeRO最適化を用いたDeepSpeedフレームワークを活用。
• 視覚エンコーダー（20億パラメータ）とLLaMa-2言語デコーダー（130億または700億パラメータ）を採用し、モダリティ統合のためのプロジェクション層を設けるが、性能向上が見られなかったため、ビジョントランスフォーマーのプロジェクションは放棄。
• 特にLLaMa-2-700億パラメータのような大規模モデルのパフォーマンス最適化のため、プロンプトチューニングとハイパーパramータの適応を適用。
• SparklesChatデータを用いた・ないの比較によるアブレーションスタディを実施し、プロンプト感受性と幻覚のトレードオフを分析。

実験結果

リサーチクエスチョン

• RQ1 完全にオープンソースのフレームワークは、テキストと画像の入れ違い入力を伴うマルチラウンド・マルチイメージ対話に対応できるか？
• RQ2 提案されたマルチモーダル自己回帰注意（MMCA）メカニズムは、追加パラメータを追加せずに、クロスアテンションと同等のパフォーマンスを達成できるか？
• RQ3 データブレンド技術は、非入れ違いのデータセットから、効果的に入れ違いの視覚的・言語的会話シナリオをシミュレートできるか？
• RQ4 ビジョン・ランゲージモデルは、700億パラメータにまでスケーリング可能であり、トレーニング効率とパフォーマンスを維持できるか？
• RQ5 外部データ（例：SparklesChat）の導入は、モデルの頑健性とプロンプト感受性にどのような影響を与えるか？

主な発見

• DeepSpeed-VisualChat は、優れたスケーラビリティを実現し、20億パラメータの視覚エンコーダーと700億パラメータの言語デコーダーを組み合わせたモデルを成功裏にトレーニングし、大規模スケールでの実現可能性を示した。
• MMCA メカニズムは、追加パラメータを導入せずに強力なクロスモダリティ同期を実現し、標準的な自己回帰注目と比較してトレーニングデータの効率性が向上した。
• SparklesChat データの統合は物語生成を向上させたが、プロンプト感受性を増加させたため、トレーニングデータに分布の不均衡が生じている可能性を示唆した。
• データブレンドを用いてトレーニングされたモデルは、マルチイメージ・マルチラウンド対話タスクにおいて汎化性能が向上したが、画像の再配置を含む複雑なブレンド戦略ではパフォーマンスが低下した。
• 130億パラメータのモデルバージョン（DeepSpeed-VisualChat-13B-Set2）は、ベースライン（Set1）と比較してより高いプロンプト感受性を示し、データ構成がモデルの頑健性に顕著に影響することを示した。
• 130億パラメータモデル用に最適化されたハイパーパramータを700億パラメータモデルに適用したが、結果は最適でなかったため、今後の研究ではモデル固有のハイパーパramータ適応の必要性が示された。