[論文レビュー] MAPLE: Modality-Aware Post-training and Learning Ecosystem

Nikhil Verma, Minjung Kim+6 more|arXiv (Cornell University)|Feb 12, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

MAPLE はモダリティ注釈付きベンチマーク MAPLE-bench、モジュール識別型ポリシー最適化 MAPO、部分信号下での勾配分散を低減し速度とロバスト性を向上させる適応カリキュラムを含む、多模態強化学習のモダリティ認識後学習を提案する。

ABSTRACT

Multimodal language models now integrate text, audio, and video for unified reasoning. Yet existing RL post-training pipelines treat all input signals as equally relevant, ignoring which modalities each task actually requires. This modality-blind training inflates policy-gradient variance, slows convergence, and degrades robustness to real-world distribution shifts where signals may be missing, added, or reweighted. We introduce MAPLE, a complete modality-aware post-training and learning ecosystem comprising: (1) MAPLE-bench, the first benchmark explicitly annotating minimal signal combinations required per task; (2) MAPO, a modality-aware policy optimization framework that stratifies batches by modality requirement to reduce gradient variance from heterogeneous group advantages; (3) Adaptive weighting and curriculum scheduling that balances and prioritizes harder signal combinations. Systematic analysis across loss aggregation, clipping, sampling, and curriculum design establishes MAPO's optimal training strategy. Adaptive weighting and curriculum focused learning further boost performance across signal combinations. MAPLE narrows uni/multi-modal accuracy gaps by 30.24%, converges 3.18x faster, and maintains stability across all modality combinations under realistic reduced signal access. MAPLE constitutes a complete recipe for deployment-ready multimodal RL post-training.

研究の動機と目的

• 異なるタスクがテキスト、音声、映像といった信号のサブセットを必要とする多模態RLのポストトレーニングにおけるモダリティ-ヘテロジェニティを動機づけて対処する。
• モダリティ認識付きデータサンプリングと評価を可能にする明示的な最小信号注釈を持つベンチマーク MAPLE-bench を提供する。
• モダリティ認識型ポリシー最適化フレームワーク MAPO を開発し、勾配分散を低減してモダリティサブセット間の訓練の安定化を図る。
• harder な信号組み合わせをバランスさせ収束を加速する適応トレーニング戦略（ウェイト付けとカリキュラム）を提案する。
• モダリティ認識型訓練が単模态/多模態のギャップを狭め、デプロイ可能な堅牢性を向上させることを実証する。

提案手法

• V、A、S およびそれらの組み合わせ（VA、VS、AS、VAS）を含む必須モダリティタグ（RMTs）を備えたモダリティ認識ベンチマーク MAPLE-bench を導入する。
• モダリティごとのグループ小分散を形成し、各モダリティサブセット内で報酬を正規化して勾配分散を低減するモダリティ認識型ポリシー最適化 MAPO を開発する。
• MAPO の設計軸として損失の集約、クリッピング、サンプリング、モダリティカリキュラムの4点を分析し、最適な静的 MAPO レシピを特定する。
• (i) サブセットごとの報酬再重み付け（KL発散に基づく）と (ii) KL主導の適応カリキュラムを実装し、 harder な信号構成をバランスさせる。
• MAPLE-QA および MAPLE-Caption を uni-, bi-, tri-modal 構成で評価し、モダリティ間のギャップ、効率、融合効果を定量化する。
• サンプルレベルの損失集約、非対称クリッピング、早期動的サンプリング、モダリティ認識カリキュラムを組み合わせた完全レシピ MAPLE Full-recipe を提供する。

実験結果

リサーチクエスチョン

• RQ1 モダリティ認識型最適化は多模态RLポストトレーニングにおける勾配分散と収束速度にどう影響するか？
• RQ2 モダリティ注釈付きベンチマーク MAPLE-bench は異なる信号サブセットに対する principled なサンプリングと評価を可能にするか？
• RQ3 適応ウェイト付けとカリキュラムは uni-, bi-, tri-modal 構成での性能と堅牢性を改善するか？
• RQ4 MAPLE は uni-/マルチモーダルの精度ギャップをどの程度まで低減し、信号低下下で訓練効率を改善するか？
• RQ5 MAPLE は実世界の信号変動性の下で、実用的でデプロイ可能な多模態RLポストトレーニングのレシピとなり得るか？

主な発見

方法	バリアント	V	A	S	VA	VS	AS	VAS	平均	U-B	U-T	B-T	Avg	時間（s/ステップ）	サンプル数
Zero-shot	Zero-shot	34.54	36.89	43.42	37.79	40.83	42.30	40.46	39.38	11.30	13.17	1.68	8.72	–	–
MAPO	MUPO	55.08	65.34	63.82	57.47	60.15	58.77	58.14	58.58	3.43	1.79	1.59	2.27	523.28
MAPO	Loss aggregation (token-level)	55.79	65.78	61.40	57.85	60.26	59.06	57.76	58.68	3.20	0.52	2.60	2.11	389.11
MAPO	Sample-level	55.74	65.78	62.28	58.69	60.42	58.87	57.48	58.86	3.79	0.07	3.72	2.53	395.03
MAPO	Clipping (asymmetric)	55.44	68.89	57.89	58.02	60.65	57.70	57.18	58.62	4.17	0.07	3.93	2.72	379.40
MAPO	Dynamic Sampling (early filtering)	55.50	64.89	63.16	64.63	59.70	58.48	57.12	58.00	2.04	0.37	2.36	1.59	197.02
MAPO	Mid-training filtering	55.32	69.33	61.84	57.29	60.18	59.65	57.10	58.39	2.71	0.73	3.35	2.26	265.13
MAPO	Curriculum learning (modality-based)	56.40	65.78	60.53	58.05	60.83	59.65	57.96	59.05	3.27	0.19	2.98	2.15	424.03
MAPO	Full-recipe	56.22	67.55	63.16	57.50	60.58	56.92	57.71	58.72	1.82	0.81	2.58	1.74	164.72
Adaptive	adp_w+adp_cur	57.13	66.40	61.35	59.16	61.64	58.33	58.67	59.82	?	?	?	?	164.72

• MAPLE は Caption タスクで uni-/マルチモーダルの精度ギャップを 30.24% 減少させ、完全信号訓練より 3.18 倍速く収束する。
• MAPLE は完全 MAPO レシピでモダリティギャップを最小の 1.74% に達成する。
• 静的成分（損失集約、クリッピング、サンプリング、カリキュラム）を用いた MAPO は MAPLE-QA および MAPLE-Caption でモダリティ非依存のベースラインを上回る。
• 適応 MAPO 戦略（サンプルごとの再重み付けと適応カリキュラム）は、モダリティサブセット全体で最も高い平均精度をもたらす（例：QA: 59.82%; Caption: 74.00%）。
• 動的早期フィルタリングとサンプルレベル損失集約は訓練効率と勾配安定性を向上させる。
• MAPLE-QA+ データ拡張は証拠が不十分な場合の回避オプションを備えた頑健なモダリティ認識推論を示す。
• CRW（キャプショニングの対比報酬重み付け）はマルチモーダル融合の成功と多様性を高める。