[論文レビュー] Measuring Multimodal Mathematical Reasoning with MATH-Vision Dataset

Ke Wang, Junting Pan+4 more|arXiv (Cornell University)|Feb 22, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用数 4

ひとこと要約

本論文は、実際の数学コンテストから抽出された視覚的文脈を有する、3,040問の高品質な数学的推論問題から構成される新しいベンチマーク、MATH-Vision (MATH-V) を紹介する。16の分野と5段階の難易度にわたり精選された問題群は、LMMが22.76%、人間が75.66%の成績を示す顕著な性能差を明らかにし、現在のモデルにおけるマルチモodalな数学的推論の限界を示し、今後の改善に向けた詳細な誤差分析を可能にする。

ABSTRACT

Recent advancements in Large Multimodal Models (LMMs) have shown promising results in mathematical reasoning within visual contexts, with models approaching human-level performance on existing benchmarks such as MathVista. However, we observe significant limitations in the diversity of questions and breadth of subjects covered by these benchmarks. To address this issue, we present the MATH-Vision (MATH-V) dataset, a meticulously curated collection of 3,040 high-quality mathematical problems with visual contexts sourced from real math competitions. Spanning 16 distinct mathematical disciplines and graded across 5 levels of difficulty, our dataset provides a comprehensive and diverse set of challenges for evaluating the mathematical reasoning abilities of LMMs. Through extensive experimentation, we unveil a notable performance gap between current LMMs and human performance on MATH-V, underscoring the imperative for further advancements in LMMs. Moreover, our detailed categorization allows for a thorough error analysis of LMMs, offering valuable insights to guide future research and development. The project is available at https://mathvision-cuhk.github.io

研究の動機と目的

• 既存のマルチモダル数学的推論用ベンチマーク（例：MathVista）に見られるような、問題タイプの制限や分野カバレッジの狭さといった課題を是正すること。
• 実際の数学コンテストから抽出された視覚的文脈を有する、包括的で高品質な数学問題データセットの構築を目的とし、専門家による検証を通じて正確性と一貫性を確保すること。
• 多様な数学的分野と難易度レベルにわたり、大規模マルチモーダルモデル（LMM）の細分化された評価を可能とし、詳細な誤差分析を促進すること。
• 現在のベンチマークを超えて、LMMの真の数学的推論能力をより厳密かつ代表的な形で評価できる、より洗練されたテストベッドを確立すること。

提案手法

• MATH-Visionデータセットは、19の実際の数学コンテストから構成されており、問題が本物のもので、難易度が高く、高度な数学的推論を反映していることを保証する。
• 全3,040問の問題は、専門家によるアノテーターによる手作業での精選と相互検証を経て、一意で正しい解答と高いデータ品質を保証する。
• 問題は、論理、算術、グラフ理論、解析幾何、組合せ幾何など16の明確な数学的分野に分類され、人間による検証済み分類システムを用いる。
• データセットには、開かれた形式の問題が1,532問、複数選択式の問題が1,508問含まれており、評価形式のバランスを確保する。
• 各問題は1（最も簡単）から5（最も難しい）までの難易度レベルに割り当てられており、難易度階層ごとの詳細なパフォーマンス分析が可能となる。
• 4つの代表的なLMM（GPT-4V、Gemini、SPHINX、InternLM-XComposer2-VL）を用いた広範な実験を通じて、分野や難易度レベルにわたるパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 実際のコンテストから抽出された視覚的数学問題を提示された際、現在の大型マルチモーダルモデル（LMM）は、多様な数学的分野にわたってどの程度一般化できるか？
• RQ2 視覚的推論タスクにおいて、LMMのパフォーマンスは、異なる難易度レベルや数学的分野でどのように変動するか？
• RQ3 LMMがマルチモーダルな数学的推論において経験する具体的な失敗モードは何か。また、構造的な誤差分析によってそれらをどのように特定できるか？
• RQ4 内部データで学習されたLMM（例：GPT-4V、Gemini）と、公開データで学習されたLMM（例：SPHINX）は、高品質でコンテストベースのベンチマークにおいて、どのように性能を発揮するか？
• RQ5 精選され専門家による検証が行われたベンチマーク、MATH-Visionは、現在の多様性に欠けるベンチマークが隠してしまう、LMMと人間の間の意味のある性能差を明らかにできるか？

主な発見

• 現在のLMMはMATH-Visionベンチマークで22.76%の正確性を示す一方で、人間の成績は75.66%に達し、53%の顕著な性能差が明らかになった。
• この性能差は、位相幾何学、メトリック幾何学、組合せ幾何学といった高度な数学的分野で特に顕著であり、モデルが複雑な空間的・抽象的推論に苦戦していることが示された。
• 内部データで学習されたGPT-4VとGeminiは、公開データで学習されたSPHINXなどと比較して優れた性能を示しており、データ品質と規模が推論能力に与える影響を示している。
• 誤差分析の結果、モデルはしばしば正しい幾何的関係を導出できず、特に複数ステップの推論や非自明な対称性の洞察を要する問題で視覚的構成を誤解することが多いことが判明した。
• 16の分野と5段階の難易度分類により、モデルの弱み（例：論理や立体幾何で成績が悪いが、基本的な算術では優れている）を正確に特定・診断できる。
• このベンチマークは、現在のLMMが単純な視覚的キーポイントのパターンマッチングを超えて一般化できないことの限界を露呈しており、より深い推論メカニズムの必要性を強調している。