[論文レビュー] Pixtral 12B

P. C. Agrawal, Szymon Antoniak+40 more|arXiv (Cornell University)|Oct 9, 2024

Transport Systems and Technology被引用数 4

ひとこと要約

Pixtral 12B は、ネイティブ解像度およびアスペクト比で画像を処理できる独自のビジョンエンコーダーを訓練から構築した 120 億パラメータのマルチモーダル言語モデルであり、テキストおよびビジョンの両タスクで優れた性能を発揮する。これは、Llama-3.2 90B よりも大きなオープンソースモデルや Claude-3 Haiku などのクローズドソースモデルをマルチモーダルベンチマークで上回り、テキスト専用の性能も高く維持している。Apache 2.0 ライセンスで公開されており、標準化された評価プロトコルを備えている。

ABSTRACT

We introduce Pixtral-12B, a 12--billion-parameter multimodal language model. Pixtral-12B is trained to understand both natural images and documents, achieving leading performance on various multimodal benchmarks, surpassing a number of larger models. Unlike many open-source models, Pixtral is also a cutting-edge text model for its size, and does not compromise on natural language performance to excel in multimodal tasks. Pixtral uses a new vision encoder trained from scratch, which allows it to ingest images at their natural resolution and aspect ratio. This gives users flexibility on the number of tokens used to process an image. Pixtral is also able to process any number of images in its long context window of 128K tokens. Pixtral 12B substanially outperforms other open models of similar sizes (Llama-3.2 11B \& Qwen-2-VL 7B). It also outperforms much larger open models like Llama-3.2 90B while being 7x smaller. We further contribute an open-source benchmark, MM-MT-Bench, for evaluating vision-language models in practical scenarios, and provide detailed analysis and code for standardized evaluation protocols for multimodal LLMs. Pixtral-12B is released under Apache 2.0 license.

研究の動機と目的

• テキスト専用の能力を損なわせることなく、優れたマルチモーダル推論性能を発揮する、高パフォーマンスでオープンソースのマルチモーダル言語モデルを開発すること。
• 訓練から構築したビジョンエンコーダーを用いて、さまざまな解像度およびアスペクト比の画像を柔軟に処理できるようにすること。
• 評価プロトコルの不整合を是正し、フォーマットの不一致に起因するバイアスを低減するために、プロンプトとメトリクスを標準化すること。
• 現実世界のアシスタント利用状況を反映する、実用的で複数ターン対応のマルチモーダルベンチマーク（MM-MT-Bench）を構築すること。
• 再現性のある評価コードと標準化されたプロトコルを備えた、本番環境で利用可能なオープンソースモデルをリリースすること。

提案手法

• 画像サイズやアスペクト比の可変性をサポートするため、独自の RoPE-2D 位置エンコーディングを用いて、画像処理に特化した新規ビジョンエンコーダー Pixtral-ViT を訓練から構築する。
• ビジョンエンコーダーにおけるシーケンスパッキングと効率的なバッチ処理を可能にするために、ブロック対角アテンションマスクを採用する。
• 高レベルのマルチモーダル推論と指示従いの性能を実現するため、120 億パラメータの Mistral Nemo ベースのデコーダーを採用する。
• フォーマットの不一致に起因する評価バイアスを低減するために、必要な回答形式を明示的に指定するプロンプトを設計する。
• 正確な回答でもフォーマットが異なる場合にペナルティを科さないよう、評価メトリクスの柔軟なパースィングを導入する。
• 長文で複数ターン対応の指示従いのシナリオを想定した、マルチモーダルモデルの評価に適した MM-MT-Bench ベンチマークを設計・オープンソース化する。

Figure 1 : Pixtral Performance. Pixtral outperforms all open-models within its weight class on multimodal tasks by a substantial margin. Left: Performance on MM-MT-Bench, a new multimodal, multiturn, instruction following benchmark designed to reflect real world usage of multimodal language models.

実験結果

リサーチクエスチョン

• RQ1 120 億パラメータのマルチモーダルモデルは、テキスト専用の能力を損なわせることなく、テキストおよびビジョンの両タスクで最先端のパフォーマンスを達成できるか？
• RQ2 固定解像度手法と比較して、ネイティブ解像度およびアスペクト比で画像を処理することで、マルチモーダル推論性能にどのような影響を与えるか？
• RQ3 不一致な評価プロンプトや正確一致メトリクスが、マルチモーダルモデル間の性能比較にどれほど歪みをもたらすか？
• RQ4 標準的な複数選択や短答式ベンチマークとは異なり、複数ターンで指示に従うようなベンチマーク（例：MM-MT-Bench）は、現実世界での実用性をよりよく反映しているか？
• RQ5 明示的なプロンプトと柔軟なパースィングを備えた標準化された評価プロトコルは、公平性と再現性を高め、フォーマットの不一致に起因する性能差を是正できるか？

主な発見

• Pixtral 12B は、MMMU や MathVista といったマルチモーダルベンチマークで Llama-3.2 11B や Qwen2-VL 7B を上回り、MATH や HumanEval といったテキスト専用タスクでも同等またはそれ以上の性能を示した。
• Pixtral 12B は、はるかに大きな Llama-3.2 90B モデルをマルチモーダルベンチマークで上回り、パラメータ効率の高さを実証した。
• Pixtral 12B は、LMSys Vision Leaderboard において Claude-3 Opus や Claude-3 Sonnet などのクローズドソースモデルよりも高い順位を記録し、Apache 2.0 ライセンスで公開されているモデルの中で最高順位となった。
• 高解像度で画像を処理する際、複雑なチャートやドキュメント理解タスクで、固定解像度またはタイル化された解像度を用いる CLIPA ベースのモデルを上回る優れた性能を発揮した。
• MM-MT-Bench での性能は、LMSys Vision Leaderboard における人間の好み順位と強く相関しており、その実用的妥当性が裏付けられた。
• 明示的なプロンプトと柔軟なパースィングの導入により、評価の公平性と一貫性が顕著に向上し、フォーマットの不一致に起因する性能差が低減した。

Figure 2 : Pixtral Vision Encoder. Pixtral uses a new vision encoder, which is trained from scratch to natively support variable image sizes and aspect ratios. Block-diagonal attention masks enable sequence packing for batching, while RoPE-2D encodings facilitate variable image sizes. Note that the