[論文レビュー] Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs

Microsoft, :+74 more|ArXiv.org|Mar 3, 2025

Natural Language Processing Techniques被引用数 3

ひとこと要約

Phi-4-MiniとPhi-4-Multimodalは、LoRAsの混合アプローチで訓練されたコンパクトで高性能な言語・マルチモーダルモデルを提示し、基盤LMを凍結したまま強力な言語・コード・マルチモーダル機能を達成します。

ABSTRACT

We introduce Phi-4-Mini and Phi-4-Multimodal, compact yet highly capable language and multimodal models. Phi-4-Mini is a 3.8-billion-parameter language model trained on high-quality web and synthetic data, significantly outperforming recent open-source models of similar size and matching the performance of models twice its size on math and coding tasks requiring complex reasoning. This achievement is driven by a carefully curated synthetic data recipe emphasizing high-quality math and coding datasets. Compared to its predecessor, Phi-3.5-Mini, Phi-4-Mini features an expanded vocabulary size of 200K tokens to better support multilingual applications, as well as group query attention for more efficient long-sequence generation. Phi-4-Multimodal is a multimodal model that integrates text, vision, and speech/audio input modalities into a single model. Its novel modality extension approach leverages LoRA adapters and modality-specific routers to allow multiple inference modes combining various modalities without interference. For example, it now ranks first in the OpenASR leaderboard to date, although the LoRA component of the speech/audio modality has just 460 million parameters. Phi-4-Multimodal supports scenarios involving (vision + language), (vision + speech), and (speech/audio) inputs, outperforming larger vision-language and speech-language models on a wide range of tasks. Additionally, we experiment to further train Phi-4-Mini to enhance its reasoning capabilities. Despite its compact 3.8-billion-parameter size, this experimental version achieves reasoning performance on par with or surpassing significantly larger models, including DeepSeek-R1-Distill-Qwen-7B and DeepSeek-R1-Distill-Llama-8B.

研究の動機と目的

• 高度なデータとターゲット訓練を通じて、コンパクトな3.8Bパラメータ言語モデルが強力な推論・数学・コーディング性能を達成できることを示す。
• Phi-4-Multimodalを導入し、基盤言語モデルを劣化させることなく、複数のモダリティ組み合わせをサポートする統一的なマルチモーダルモデルを提示する。
• LoRAの混合がマルチモーダル機能を可能にしつつ言語のみの性能を保持し、視覚・音声・視覚-音声タスクで競争力のあるベンチマークを達成することを示す。

提案手法

• 高品質で推論豊富なデータ混合を含むPhi-4-Miniを訓練する。コードデータセットとPhi-4合成データを含む。
• 言語バックボーンを凍結し、視覚・音声/音響のモダリティ別LoRAアダプタを適用してマルチモーダル機能を有効化する。
• 文脈と能力を拡張するため、4段階の視覚訓練パイプライン（プロジェクター整合、結合視覚訓練、生成的視覚-言語SFT、マルチフレーム訓練）を用いる。
• 音声/音響では、ASR整合データで事前訓練し、次に整理されたSFTデータで後訓練して音声/音響モダリティの指示遵守を解放する。
• 推論訓練パイプラインを3段階で採用する：フロンティアLLMからの約60BのCoTトークンで事前訓練、約200Kの高品質CoTサンプルでファインチューニング、約300Kの好みサンプルでDPOを展開する。

実験結果

リサーチクエスチョン

• RQ1 コンパクトな3.8Bパラメータモデルが、高品質な合成データとキュレーションデータを用いて、より大きなモデルと同等の推論・数学・コーディング性能を達成できるか。
• RQ2 LoRAの混合が、言語モデルの純粋テキスト性能を劣化させずに統一的なマルチモーダル推論（テキスト・視覚・音声）を可能にするか。
• RQ3 Phi-4-Multimodal は、視覚-言語、視覚-音声、音声-言語タスクで、より大規模または完全にファインチューニングされたモデルと比較してどの程度の性能を示すか。

主な発見

• Phi-4-Mini (3.8B) は強力な数学・コーディング推論を達成し、選択されたタスクでより大きなモデルに匹敵する。
• Phi-4-Multimodal は、基盤LMを凍結したままモダリティ別LoRAを統合することで統一的なマルチモーダル機能を提供し、いくつかのベンチマークでクロスアテンション設計を上回る。
• Phi-4-Multimodal は報告日現在、OpenASRリーダーボードで1位にランクされており、音声のLoRAパラメータは460M。
• 同サイズで最新の視覚-言語ベンチマークにおいて最先端の性能を発揮し、視覚-音声ベンチマークではより大きなモデルよりも顕著に高い性能を示す。
• 音声/音響機能には初のオープンソースの音声要約が含まれ、競合するASR/AST結果で、WhisperV3やSeamlessM4Tなどの専門モデルを挙げて対等または上回るタスクが多い。
• 推論強化Phi-4-Miniは、より大きな最先端推論システムと同等かそれ以上の能力を示す。