[論文レビュー] G-LLaVA: Solving Geometric Problem with Multi-Modal Large Language Model

Jiahui Gao, Renjie Pi+9 more|arXiv (Cornell University)|Dec 18, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、幾何的図形・関係の理解に限られた能力を示す既存のマルチモーダル大規模言語モデル（MLLM）の課題を解決することを目的とし、幾何的推論を強化するために、LLMを用いて生成された17万件の合成的幾何画像・キャプションおよび質問・回答ペアから成るGeo170Kという合成データセットを用いて微調整されたマルチモーダル大規模言語モデル、G-LLaVAを提案する。G-LLaVAは、わずか7BパラメータでGPT-4-Vを上回る、MathVistaの幾何ベンチマークで最先端の性能を達成しており、幾何的問題解決におけるドメイン内データ拡張の有効性を示している。

ABSTRACT

Large language models (LLMs) have shown remarkable proficiency in human-level reasoning and generation capabilities, which encourages extensive research on their application in mathematical problem solving. However, current work has been largely focused on text-based mathematical problems, with limited investigation in problems involving geometric information. Addressing this gap, we aim to enable LLMs to solve geometric problems by understanding image input. We first analyze the limitations of current Multimodal Large Language Models (MLLMs) in this area: they struggle to accurately comprehending basic geometric elements and their relationships. To overcome these challenges, we take advantage of the unique characteristics of geometric problems (such as unique geometric logical form, and geometric scalability) and the capacity of the textual LLMs to build an enriched multimodal geometry dataset based on existing data. The augmented dataset, Geo170K, contains more than 170K geometric image-caption and question-answer pairs. Utilizing our constructed Geo170K dataset, we develop G-LLaVA, which demonstrates exceptional performance in solving geometric problems, significantly outperforming GPT-4-V on the MathVista benchmark with only 7B parameters.

研究の動機と目的

• 既存のマルチモーダル大規模言語モデル（MLLM）が幾何的図形や関係を理解する能力に限界を示していることに対処すること。
• マルチモーダル学習分野における既存の幾何的推論データセットの不足と低品質の問題を克服すること。
• テキストのみのLLMを用いて、高品質で多様な幾何的視覚的・テクスチュアルデータを合成する手法を開発すること。
• ドメイン内事前学習とインstructチューニングを用いて、幾何的問題解決に優れたマルチモーダルモデルを訓練すること。
• 幾何的論理とスケーラビリティを活用したデータ拡張が、MLLMの幾何的推論タスクにおける性能を顕著に向上させられることを実証すること。

提案手法

• 著者らは、幾何学の特徴的構造的・論理的性質（幾何的スケーラビリティ、表現の一意性、論理的構造など）を活用し、テキストのみのLLMを用いて、既存のデータセットから画像・キャプションおよび質問・回答ペアを合成することで、Geo170Kデータセットを生成した。
• モデルは2段階で訓練される：視覚的・言語的特徴を統合するためのプロジェクションヘッドを用いたクロスモーダルアライメント段階、その後に、収集済みのドメイン内データを用いたインストラクションチューニング段階。
• 訓練中、画像は白のパディングを用いて正方形にリサイズされ、データ拡張として画像コンテンツの最大25％の平行移動が適用された。
• モデルは学習可能なプロジェクションレイヤーを備え、アライメント段階およびインストラクションチューニング段階で視覚エンコーダーと言語モデルの両方を微調整した。
• 評価には正規表現ベースの回答抽出を用いたTop-1正答率が使用され、一貫性を確保するため、モデルは出力形式を固定された形式に従って選択肢を出力するようにプロンプトされた。
• クロスモーダルアライメント段階の寄与を明示的にアブレーションすることで、幾何的理解への貢献を検証した。

実験結果

リサーチクエスチョン

• RQ1 LLMを用いた合成データ生成が、MLLMの幾何的推論タスクにおける性能を顕著に向上させられるか？
• RQ2 収集済みの大規模幾何データセットを用いたドメイン内事前学習が、MLLMの幾何的図形や関係の理解を向上させるか？
• RQ3 7BパラメータのMLLMが、GPT-4-Vのようなより大規模で強力なモデルを幾何的問題解決において上回れるか？
• RQ4 クロスモーダルアライメントは、角度、直線、図形などの幾何的要素の解釈能力にどのように寄与するか？
• RQ5 モデルは、異なる種類および難易度の幾何的問題に対して、どの程度一般化できるか？

主な発見

• G-LLaVA-7Bは、MathVistaベンチマークの幾何スプリットでGPT-4-Vを上回り、Top-1正答率64.2％を達成した。これは、より良いドメイン内データを用いることで、小さなモデルがより大きなモデルを上回れる可能性を示している。
• G-LLaVA-13Bは、同じベンチマークで67.0％のTop-1正答率を達成し、GPSミニテストスプリットでLLaVA-13Bを27.4ポイントも上回った。
• 推論の複雑さが高い問題（OP >= 4）では、G-LLaVA-7Bが40.9％の正答率を維持したのに対し、LLaVA-7Bは22.9％にとどまった。
• 角度関連の問題では70.7％、長さ関連の問題では56.5％の正答率を達成し、すべての幾何的問題タイプでベースラインを上回った。
• アブレーションスタディの結果、クロスモーダルアライメント段階が正答率を1.4ポイント向上（62.8％から64.2％）させたことが確認され、視覚的理解の向上に有効であることが証明された。
• G-LLaVAのTop-1正答率は、Geoformer（46.8％）やUniMath（50.0％）といった先行SOTA手法のTop-10正答率を上回っており、優れた予測精度を示している。