[論文レビュー] Let's Learn Step by Step: Enhancing In-Context Learning Ability with Curriculum Learning

Yinpeng Liu, Jiawei Liu+4 more|arXiv (Cornell University)|Feb 16, 2024

Online and Blended Learning被引用数 4

ひとこと要約

本稿では、示例を単純な順から複雑な順に並べることで、オープンソース大規模言語モデルにおけるFew-shot In-Context Learningの性能を向上させるIn-Context Curriculum Learning（ICCL）を提案する。この手法は、カリキュラムに適した能力を発揮するように指示微調整を行うことで実現され、特に小規模モデルにおいて科学的推論タスクで顕著な向上が見られた。一方、人間が設計した順序付けが、大規模言語モデルが自ら生成する順序付けを上回る性能を示した。

ABSTRACT

Demonstration ordering, which is an important strategy for in-context learning (ICL), can significantly affects the performance of large language models (LLMs). However, most of the current approaches of ordering require high computational costs to introduce the priori knowledge. In this paper, inspired by the human learning process, we propose a simple but effective demonstration ordering method for ICL, named the few-shot In-Context Curriculum Learning (ICCL). The ICCL implies gradually increasing the complexity of prompt demonstrations during the inference process. The difficulty can be assessed by human experts or LLMs-driven metrics, such as perplexity. Then we design extensive experiments to discuss the effectiveness of the ICCL at both corpus-level and instance-level. Moreover, we also investigate the formation mechanism of LLM's ICCL capability. Experimental results demonstrate that ICCL, developed during the instruction-tuning stage, is effective for representative open-source LLMs. To facilitate further research and applications by other scholars, we make the code publicly available.

研究の動機と目的

• 示例を難易度の高い順に並べることで、Few-shot In-Context Learningの性能が向上するかどうかを調査すること。
• LLMがカリキュラムベースの示例順序付けの恩恵を受けるようになる段階と方法を特定すること。
• In-Context Learningにおける人間が設計したカリキュラムスケジュールとLLMが生成したカリキュラムスケジュールの有効性を評価すること。
• 再トレーニングを伴わずに、推論段階に直接カリキュラム学習を適用する可能性を検討すること。

提案手法

• 示例を低複雑性から高複雑性へと並べる戦略であるIn-Context Curriculum Learning（ICCL）を提案し、In-Context Learningの性能を向上させる。
• 人間の専門家または大規模言語モデルを「ソーター」として用い、示例の認識された難易度に基づいて順位付けを行い、カリキュラムスケジュールを構築する。
• 同じモデルパラメータを維持したまま、推論プロンプトに順序付け済みの示例を適用する。
• 科学的推論データセット（SciCite, SciNLI）を用い、ベースモデルおよび指示微調整済みLLMに対してICCLとベースラインIn-Context Learning（ICL）を比較する実験を実施する。
• LLMが自律的に効果的なカリキュラム順序を生成できるかどうかを評価するためのプロンプトを設計し、人間が作成した順序との性能を比較する。
• F1スコアを測定し、ランダム順序や標準的なICLとの相対的な向上または低下を分析する。

実験結果

リサーチクエスチョン

• RQ1 示例を難易度の高い順に並べること（ICCL）が、LLMにおけるFew-shot In-Context Learningの性能を向上させるか？
• RQ2 モデルがカリキュラムベースの示例順序付けの恩恵を受けるようになる段階は、事前学習段階か、指示微調整段階か？
• RQ3 人間が設計したカリキュラムスケジュールとLLMが生成したカリキュラムスケジュールの性能は、ICCLにおいてどのように比較されるか？
• RQ4 なぜICCLはGPT-4のような高性能モデルでは限定的または逆効果となるのか？

主な発見

• ICCLは、指示微調整済みオープンソースLLMの性能を顕著に向上させ、Mixtral 8x7BではSciNLIで平均F1スコアが5.62%向上した。
• 指示微調整済みLlama 2 70Bでは、ICCLを用いることでF1スコアが5.62%向上したが、ベースモデルでは4.12%低下した。これは、ICCLの能力が指示微調整段階で出現したことを示している。
• 人間が設計したカリキュラム順序付けが、LLMが生成した順序付けを上回る性能を示した。一方、LLMが生成した順序付けは、ランダム順序と比較して平均0.29%の性能低下にとどまった。
• GPT-4ではICCLが効果を示さず、平均F1スコアが2.56%低下した。これは、高性能モデルが示例の順序にあまり敏感でない可能性を示唆している。
• ベースモデルではICCLにより性能が不安定となり、標準的なICLと比較して平均7.16%のF1スコア低下を示した。これは、指示微調整なしではカリキュラム順序に内在的な感受性がないことを示している。
• 本研究は、人間の専門家がICCLにおいて極めて重要な役割を果たしていることを確認した。知識豊富で効果的なカリキュラムを提供することで、モデルのパラメータを最大限に活用できる。