[論文レビュー] At Which Training Stage Does Code Data Help LLMs Reasoning?
本論文は、コードデータが大規模言語モデル（LLM）の推論能力を最も効果的に向上させるタイミングを調査し、混合コード・テキストデータによる事前学習が一般推論能力を顕著に向上させることを発見した。一方、コードデータを用いたインstructチューニングは、タスク固有の推論能力を向上させる。動的混合戦略を用いることで、段階的推論学習がさらに向上し、効率的かつ推論能力を持つLLMの訓練に向けた重要な知見を提供する。
Large Language Models (LLMs) have exhibited remarkable reasoning capabilities and become the foundation of language technologies. Inspired by the great success of code data in training LLMs, we naturally wonder at which training stage introducing code data can really help LLMs reasoning. To this end, this paper systematically explores the impact of code data on LLMs at different stages. Concretely, we introduce the code data at the pre-training stage, instruction-tuning stage, and both of them, respectively. Then, the reasoning capability of LLMs is comprehensively and fairly evaluated via six reasoning tasks in five domains. We critically analyze the experimental results and provide conclusions with insights. First, pre-training LLMs with the mixture of code and text can significantly enhance LLMs' general reasoning capability almost without negative transfer on other tasks. Besides, at the instruction-tuning stage, code data endows LLMs the task-specific reasoning capability. Moreover, the dynamic mixing strategy of code and text data assists LLMs to learn reasoning capability step-by-step during training. These insights deepen the understanding of LLMs regarding reasoning ability for their application, such as scientific question answering, legal support, etc. The source code and model parameters are released at the link:~\url{https://github.com/yingweima2022/CodeLLM}.
研究の動機と目的
- コードデータがLLMの推論能力を最も効果的に向上させる訓練段階を特定すること。
- 多様な分野における一般推論とタスク固有推論の両方におけるコードデータの影響を評価すること。
- コードデータが非推論タスクにおける負の転送や性能低下を引き起こすかどうかを分析すること。
- 訓練中にコードデータとテキストデータの動的混合戦略の有効性を調査すること。
- 今後の推論能力を持つLLM分野の研究を支援するため、オープンソースのモデルとコードを提供すること。
提案手法
- 純粋なテキストデータとコード・テキストの混合データによるLLMの事前学習を比較し、一般推論能力の向上を評価する。
- テキストデータのみとテキスト・コードの混合データを用いたインストラクションチューニングを実施し、タスク固有推論能力の向上を評価する。
- 訓練中に段階的にコードデータの割合を増やす動的混合戦略を適用し、段階的推論学習を模倣する。
- 論理的、コード、法的、科学的、類似性推論の5つの分野における6つの推論タスクでモデルを評価する。
- 同一のモデルアーキテクチャと訓練目的を用いた制御実験を実施し、公平な比較を確保する。
- 学習済みモデル重みとコードを公開することで、再現性とさらなる研究を可能にする。
実験結果
リサーチクエスチョン
- RQ1コードデータがLLMの推論能力を最も効果的に向上させる訓練段階は、事前学習、インストラクションチューニング、または両方か？
- RQ2事前学習段階でコードデータを導入すると、非推論タスクで負の転送が生じるか？
- RQ3インストラクションチューニング段階でコードデータを導入することで、タスク固有推論ベンチマークでのモデル性能が向上するか？
- RQ4訓練中にコードデータとテキストデータを動的に混合することで、推論能力にどのような影響を与えるか？
- RQ5一般的な常識や理解タスクの性能が低下することなく、コードデータが推論能力をどの程度向上させるか？
主な発見
- コードとテキストの混合データによる事前学習は、複数の分野において一般推論能力を顕著に向上させ、他のタスクへの負の転送は最小限またはほとんどない。
- コードデータを用いたインストラクションチューニングは、特にコードおよび論理的推論タスクにおいてタスク固有推論能力を向上させ、より良いインストラクションの遂行を可能にする。
- 訓練中にコードデータとテキストデータを動的に混合することで、推論能力の段階的学習が促進され、モデルの汎化能力が向上する。
- NLI や読解理解（例：DuReader）などの非推論タスクでは、コードデータの導入がほとんど影響を与えず、一部のタスクではわずかな性能向上が見られた。
- DuReaderタスクでは、コードデータの導入により性能がわずかに低下した可能性があり、これはモデルがコードと自然言語のパターンの違いを混同したためであると推測され、大規模な訓練により解決する必要がある。
- 本研究は、コードデータが推論能力向上に不可欠な要素であり、特に事前学習段階とインストラクションチューニング段階に戦略的に導入することで最適な効果が得られることを示している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。