[論文レビュー] MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning

Zhenwen Liang, Dian Yu+5 more|arXiv (Cornell University)|Jul 16, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

MinTは、異なるデータセットにおける注釈フォーマットを別々の'ビュー'として扱い、各ビューに特化した指示を用いてモデルが多様なフォーマットで解答を生成するように訓練することで、小規模言語モデルにおける数学的推論を向上させるマルチビュー微調整手法を提案する。このアプローチは、大規模で非効率な教師モデルに依存せずに、4つのベンチマークで最先端の性能を達成した。

ABSTRACT

Reasoning in mathematical domains remains a significant challenge for relatively small language models (LMs). Many current methods focus on specializing LMs in mathematical reasoning and rely heavily on knowledge distillation from powerful but inefficient large LMs (LLMs). In this work, we explore a new direction that avoids over-reliance on LLM teachers, introducing a multi-view fine-tuning method that efficiently exploits existing mathematical problem datasets with diverse annotation styles. Our approach uniquely considers the various annotation formats as different "views" and leverages them in training the model. By postpending distinct instructions to input questions, models can learn to generate solutions in diverse formats in a flexible manner. Experimental results show that our strategy enables a LLaMA-7B model to outperform prior approaches that utilize knowledge distillation, as well as carefully established baselines. Additionally, the proposed method grants the models promising generalization ability across various views and datasets, and the capability to learn from inaccurate or incomplete noisy data. We hope our multi-view training paradigm could inspire future studies in other machine reasoning domains.

研究の動機と目的

• 大規模で非効率な大規模言語モデル（LLM）からの知識蒸留による小規模言語モデルの数学的推論訓練における限界を解消すること。
• 問題解決の別々の'ビュー'としての多様な注釈フォーマットを活用することで、小規模言語モデルの一般化性能と耐性を向上させること。
• 高価なLLMによる注釈生成を必要とせず、既存の公開可能でフォーマットが異なるデータセット（ノイズを含む可能性あり）を効果的に活用できること。
• 複数のビューで訓練することで、異なるデータセットやフォーマットにわたる推論性能と適応性が向上するかどうかを検証すること。
• モデルアーキテクチャに依存せず、ノイズのあるデータに対しても一般化可能な、データ効率的でスケーラブルな手法を開発すること。

提案手法

• 本手法は、物語的で段階的な推論、方程式ベースの解答、フラット化されたプログラムといった、異なる解決方法の注釈フォーマットを、数学的問題解決の別々の'ビュー'として扱う。
• データを1つのフォーマットから他のフォーマットに変換するビュー変換技術を用いて、解決フォーマットの数を拡張し、トレーニングの多様性を高める。
• 微調整の際、入力質問に別々の指示プレフィックスを付加することで、モデルが望ましいビュー形式で出力を生成するように誘導し、柔軟でビュー特化型の生成を可能にする。
• 複数のデータセットに混合されたビューを用いてエンドツーエンドでモデルを訓練することで、ビュー間の推論パターンを学習し、一般化性能を向上させる。
• アーキテクチャに依存しないアプローチであり、LLaMA-7B や BLOOMz-7B といったさまざまなバックボーンモデルに適用可能である。
• 大規模なLLMによるデータ生成に依存せず、最小限の前処理で既存のデータセットを活用する。

Figure 1: We use MinT to fine-tune a LLaMA-7B model that specializes in math problem solving. First, the original annotation is transformed into multiple different views. Then, the model is trained by instructions to generate different solution forms for one problem.

実験結果

リサーチクエスチョン

• RQ1 異なる注釈フォーマット（ビュー）で訓練することで、小規模言語モデルの数学的推論性能が向上するか？
• RQ2 マルチビュー微調整は、未観測のデータセットや解決フォーマットにわたる一般化性能を向上させるか？
• RQ3 ノイズや不完全なデータを新たなビューとして扱うことで、そのようなデータを効果的に統合できるか？
• RQ4 大規模教師モデルに依存する知識蒸留ベースの手法と比較して、MinTの性能はどの程度優れているか？
• RQ5 本手法は、さまざまなバックボーン言語モデルにどの程度一般化可能か？

主な発見

• LLaMA-7BモデルをMinTで微調整した結果、GSM8K、MathQA、Ape210K、MAWPSの4つのベンチマークで、先行する知識蒸留ベースの手法を上回った。
• 方程式ベースの解答を用いるMAWPSデータセットにおいて、段階的で物語的な推論（chain-of-thought）解答を生成した場合、58.5%の正答率を達成し、強力なビュー間一般化性能を示した。
• より多くのデータセットとビューで訓練することで性能が一貫して向上し、全6つのデータセットで訓練されたモデルが、全ビューで最高の正答率を記録した。
• 本手法は、LLaMA-7BおよびBLOOMz-7Bの両方のバックボーンモデルに対して、一貫した性能向上を示した。
• ノイズのあるデータを追加のビューとして扱うことで、データクリーニングを要せずとも全体の性能が向上し、耐性を示した。
• 単純な指示微調整により生成制御が可能で、不完全または関係のないデータソースからでさえも高品質な出力を得られる。

Figure 2: Experimental results on the MAWPS dataset. X-axis indicates the training datasets and Y-axis indicates the accuracy.