[論文レビュー] Learning From Mistakes Makes LLM Better Reasoner

Shengnan An, Zexiong Ma+4 more|arXiv (Cornell University)|Oct 31, 2023

Artificial Intelligence in Law被引用数 5

ひとこと要約

本稿では、誤りの是正データペアを用いて微調整することで、大規模言語モデル（LLM）の少数ショット推論性能を向上させるLeMaという手法を提案する。モデルは誤った推論経路とその是正を学習する。GPT-4を用いて高品質な是正データを生成し、是正中心の進化戦略を適用することで、LeMaは複数のLLMおよびタスクで推論性能を向上させ、GSM8KおよびMATHベンチマークで最先端の結果を達成した。

ABSTRACT

Large language models (LLMs) recently exhibited remarkable reasoning capabilities on solving math problems. To further improve their reasoning capabilities, this work explores whether LLMs can LEarn from MistAkes (LEMA), akin to the human learning process. Consider a human student who failed to solve a math problem, he will learn from what mistake he has made and how to correct it. Mimicking this error-driven learning process, LEMA incorporates mistake-correction data pairs during fine-tuning LLMs. Specifically, we first collect inaccurate reasoning paths from various LLMs, and then employ GPT-4 as a ''corrector'' to identify the mistake step, explain the reason for the mistake, correct the mistake and generate the final answer. In addition, we apply a correction-centric evolution strategy that effectively expands the question set for generating correction data. Experiments across various LLMs and reasoning tasks show that LEMA effectively improves CoT-alone fine-tuning. Our further ablations shed light on the non-homogeneous effectiveness between CoT data and correction data. These results suggest a significant potential for LLMs to improve through learning from their mistakes. Our code, models and prompts are publicly available at https://github.com/microsoft/LEMA.

研究の動機と目的

• 大規模言語モデル（LLM）が、人間の誤りに起因する学習と同様に、自身の誤りから学習することで推論能力を向上させられるかどうかを調査すること。
• LLMが生成する不正確な推論経路を収集し、GPT-4を正誤者として用いて誤りを特定・説明・是正する高品質な誤り-是正データペアを生成すること。
• 中程度の難易度の問題に焦点を当てることで、一般化性能を向上させるために、是正中心の進化戦略を開発すること。
• LeMaの有効性を、数学的および一般的常識的推論を含む多様なオープンソースLLMおよび推論タスクにおいて評価すること。
• 誤りの是正データの各成分（誤ったステップ、説明、是正された解答）がモデル性能に与える寄与度を分析すること。

提案手法

• 数学的問題に対して、さまざまなLLM（例：LLaMA、GPTシリーズ）から不正確な推論経路を収集し、誤りの例として用いる。
• GPT-4を「正誤者」として用い、3段階の是正データを生成する：（1）誤ったステップ、（2）それが誤りである理由の説明、（3）正しい最終解答を含む是正された推論経路。
• 人間による評価を通じて、誤った最終解答を含む是正データをフィルタリングし、データ品質を保証する。
• 中程度の難易度の問題をシードとして選択することで、是正中心の進化戦略を適用し、新しい是正データを生成することで、データの多様性と有用性を向上させる。
• チェーン・オブ・トゥキャスト（CoT）データと是正データの混合データセットを用いてLLMを微調整し、正しい推論と誤り是正の両方から学習できるようにする。
• アブレーションスタディを実施し、各是正コンポONENTの寄与度を分離し、データ選択戦略の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMは、人間の誤りに起因する学習と同様に、自身の誤りから学習することで推論能力を向上させられるか？
• RQ2 異なるLLMおよび推論タスクにおいて、LeMaの性能は標準的なCoT微調整と比べてどうか？
• RQ3 是正データの異なるコンポonent（誤ったステップ、説明、是正された解答）が最終的なモデル性能に与える相対的寄与度は何か？
• RQ4 是正データ生成において、ランダムサンプリングではなく中程度の難易度の問題に焦点を当てることで、より良い結果が得られるか？
• RQ5 訓練データ量を一定に保った場合、CoTデータと是正データを混合させることと、単一のデータソースのみを使用することの比較は、どのように異なるか？

主な発見

• LLaMA-2-70Bを用いたLeMaは、GSM8Kで83.5%、MATHで25.0%を達成し、CoTオンリーファインチューニング（81.4%および23.6%）を上回った。
• 是正中心の進化戦略を適用することで、LLaMA-2-70BのMATH性能は25.0%から29.3%に向上した。
• LeMaはWizardMath や MetaMath といった特化型モデルに対しても効果を示し、広範な適用可能性を示した。
• アブレーションスタディの結果、是正された解答や説明を削除すると性能が著しく低下する一方、誤ったステップを省略しても影響が小さいことが判明し、誤りの暗黙的局在化が可能であることが示唆された。
• 訓練データ量を一定に保った場合、CoTデータと是正データを混合させることで、単一のデータタイプのみを使用する場合よりも性能が向上した。これは、両者に相乗効果があることを示している。
• 中程度の難易度の問題は、ランダムに選択された問題よりも是正データの進化に効果的であり、より高品質で有用な是正が得られることを示した。