[論文レビュー] SCITUNE: Aligning Large Language Models with Scientific Multimodal Instructions

Sameera Horawalavithana, Sai Munikoti+2 more|arXiv (Cornell University)|Jul 3, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、最初に視覚的およびテキスト的信号間の科学的コンセプトを統合し、次に科学的推論タスクで微調整する二段階のフレームワークであるSciTuneを紹介する。得られるモデルであるLLaMA-SciTuneは、ScienceQAベンチマークで人間の性能を上回り、ゼロショットの科学的視覚理解タスクにおいても最先端のビジョン・ランゲージモデルを上回る性能を示す。

ABSTRACT

Instruction finetuning is a popular paradigm to align large language models (LLM) with human intent. Despite its popularity, this idea is less explored in improving the LLMs to align existing foundation models with scientific disciplines, concepts and goals. In this work, we present SciTune as a tuning framework to improve the ability of LLMs to follow scientific multimodal instructions. To test our methodology, we use a human-generated scientific instruction tuning dataset and train a large multimodal model LLaMA-SciTune that connects a vision encoder and LLM for science-focused visual and language understanding. In comparison to the models that are finetuned with machine generated data only, LLaMA-SciTune surpasses human performance on average and in many sub-categories on the ScienceQA benchmark.

研究の動機と目的

• 指令チューニングを通じて、大規模言語モデル（LLM）を科学分野、科学的コンセプト、科学的目標に適合させるというギャップを埋えること。
• 人間が生成した科学的指令データを活用することで、科学的文脈におけるマルチモーダル推論を向上させること。
• マルチモーダル環境下で、LLMが正確な科学的手順やプロトコルに従う能力を強化するフレームワークを開発すること。
• 科学的視覚および言語理解タスクにおけるゼロショット一般化を可能にすること。
• 特定の指令チューニングにより、科学的マルチモーダル推論ベンチマークで人間の性能を上回ること。

提案手法

• SciTuneは二段階の学習プロセスを採用する：科学的コンセプト統合の段階と科学的指令チューニングの段階。
• 科学的コンセプト統合では、多様な科学的視覚信号（例：プロット、数式、図解）とテキスト信号（例：OCR、キャプション、段落内記述）からの学習が行われる。
• 科学的指令チューニングでは、21,000件のマルチモーダル選択肢付き質問を含む、ScienceQAベンチマークというマルチモーダル科学的推論データセットを用いてモデルの微調整が行われる。
• このフレームワークは、デコーダー型LLM（LLaMA）とビジョンエンコーダー（CLIP）を組み合わせ、LLaMA-SciTuneモデルを構築する。
• 分布のずれを避けるために、合成データではなく人間がアノテートした科学的指令データを用いる。これにより事実の整合性が向上する。
• 未知の科学的視覚理解タスクへの一般化能力を評価するために、ゼロショット推論設定でモデルを評価する。

Figure 1: SciTune presents i) scientific concept alignment to learn across various scientific visual signals (e.g., plots, charts, equation, diagram, etc.), and textual signals (e.g., captions, OCR and paragraph mentions), ii) scientific instruction tuning to fine-tune on a multimodal scientific rea

実験結果

リサーチクエスチョン

• RQ1 二段階の指令チューニングフレームワークは、LLMの科学的マルチモーダル指令への従順性を向上させることができるか？
• RQ2 人間が生成した科学的指令データで学習させることで、合成データで学習したモデルよりも優れた性能が得られるか？
• RQ3 科学的タスクで微調整されたビジョン・ランゲージモデルは、科学的推論ベンチマークで人間の性能を上回ることができるか？
• RQ4 モデルは、ゼロショットの科学的視覚理解タスクにどのように一般化するか？
• RQ5 推論の失敗モードは何か？また、言語的特徴と視覚的特徴は、誤った出力にどのように寄与しているか？

主な発見

• LLaMA-SciTuneは、ScienceQAマルチモーダル推論ベンチマークで人間の性能を上回り、ゼロショット推論において最先端の結果を達成した。
• モデルは、デモなしで科学的ビジュアルの分類や正確な図のキャプション生成において、既存のSOTAビジョン・ランゲージモデルを上回った。
• 誤った回答に対しては、正解よりも高いROUGEスコア（0.924）を示す講義コンポーネントを生成しており、講義の記憶に過剰適合している可能性がある。
• 正解の回答の場合、解法生成のBLEUおよびROUGEスコアが高く（例：正解の解法ではROUGE 0.937）、誤った回答の場合には低い（ROUGE 0.778）ことがわかった。
• 言語的特徴は一般的な常識的事実や比喩的表現に対して弱く、視覚的特徴は数え上げや物体の性質（例：色、質感）の取得に苦労する。
• 推論の失敗は、主に解法段階での誤った推論に起因しており、トレーニングおよび推論段階でのより良いチェーン・オブ・コネクションのガイダンスの必要性が示された。

(a) An example with right answer and right explanation