[論文レビュー] The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning

Seungone Kim, Se June Joo+5 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、1,060のタスクにわたる184万件のチェーン・オブ・トゥーク（CoT）推論を含む大規模な指令微調整データセット「CoT Collection」を紹介する。このデータセットにより、より小さな言語モデルにおけるゼロショットおよびフェイントショット推論性能が向上する。Flan-T5（3Bおよび11B）をこのデータセットで微調整した結果、BIG-Bench-Hardで平均正解率がそれぞれ+4.34%および+2.60%向上し、GPT-3.5やClaudeですらも上回る13.98%の優位性を示した。

ABSTRACT

Language models (LMs) with less than 100B parameters are known to perform poorly on chain-of-thought (CoT) reasoning in contrast to large LMs when solving unseen tasks. In this work, we aim to equip smaller LMs with the step-by-step reasoning capability by instruction tuning with CoT rationales. In order to achieve this goal, we first introduce a new instruction-tuning dataset called the CoT Collection, which augments the existing Flan Collection (including only 9 CoT tasks) with additional 1.84 million rationales across 1,060 tasks. We show that CoT fine-tuning Flan-T5 (3B & 11B) with CoT Collection enables smaller LMs to have better CoT capabilities on unseen tasks. On the BIG-Bench-Hard (BBH) benchmark, we report an average improvement of +4.34% (Flan-T5 3B) and +2.60% (Flan-T5 11B), in terms of zero-shot task accuracy. Furthermore, we show that instruction tuning with CoT Collection allows LMs to possess stronger few-shot learning capabilities on 4 domain-specific tasks, resulting in an improvement of +2.24% (Flan-T5 3B) and +2.37% (Flan-T5 11B), even outperforming ChatGPT utilizing demonstrations until the max length by a +13.98% margin. Our code, the CoT Collection data, and model checkpoints are publicly available.

研究の動機と目的

• 未学習のタスクに対して、1000億パラメータ未満の小さな言語モデル（LM）のゼロショットおよびフェイントショット推論性能が低いという問題に対処すること。
• 現在のCoT指令微調整データセットが小さく偏っているため、小さなモデルにおける一般化性能が弱いという限界を克服すること。
• 多様な未学習タスクにわたる、包括的かつスケーラブルな指令微調整データセットを構築し、小さなLMが一貫したCoT推論を一般化できるようにすること。
• 大規模で多様なデータセットを用いたCoT微調整が、下流ベンチマークにおいてゼロショットおよびフェイントショット性能を顕著に向上させることを実証すること。

提案手法

• CoT Collectionは、Flan Collectionに1,060のタスクにわたる184万件のCoT推論を追加することで構築され、元々の9つのCoTタスクから大きく拡張された。
• このデータセットを用いてFlan-T5モデル（3Bおよび11B）を微調整し、段階的推論に最適化された新しいモデル「CoT-T5」が得られた。
• 本手法では、推論時に最終予測の前に中間的推論ステップを生成できるように、CoTデモンストレーションを用いた指令微調整を適用している。
• アブレーションスタディでは、163のタスクのサブセット（T0設定）および5言語で8万件の多言語データを用い、低リソースおよびクロスリンガル一般化性能を評価している。
• ゼロショット（BIG-Bench-Hard）およびフェイントショット（ドメイン特化型の法的・医療的タスク）ベンチマークで、CoTプロンプティングを用いて評価が実施された。
• 多言語対応は、mT0（3B）を翻訳済みCoTデータで微調整することで実施され、5言語におけるMGSMでの性能を測定した。

Figure 1: An illustration of the overall task group and dataset source of where we obtained the instances to augment the rationales in CoT Collection . Compared to the 9 datasets that provide publicly available rationales (included within ‘Flan-T5 ExQA’, ‘Flan-T5 Arithmetic’, ‘Flan-T5 MCQA’, ‘Flan-T

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様なCoT指令微調整データセットは、小さな言語モデルのゼロショット推論性能を顕著に向上させることができるか？
• RQ2 少数のCoTタスクでの微調整に比べ、幅広いタスク範囲でのCoT微調整は、より優れた一般化性能を示すか？
• RQ3 ドメイン特化型タスクにおけるフェイントショット学習能力は、CoT微調整によって向上し、大規模モデルにデモンストレーションを用いた場合を上回るか？
• RQ4 低リソース言語におけるゼロショット推論性能は、多言語CoT微調整によってどの程度向上するか？
• RQ5 フェイントショット設定において、CoT微調整はGPT-3.5やClaudeといった大規模モデルのイン・コンテキスト学習と比較して、どのように差をつけるか？

主な発見

• ゼロショットCoTプロンプティング下で、CoT-T5（3B）はBIG-Bench-Hardの27のデータセットにおいてFlan-T5（3B）より平均正解率で+4.34%向上した。
• 同様のベンチマークで、CoT-T5（11B）はFlan-T5（11B）よりゼロショット正解率で+2.60%向上した。
• 4つのドメイン特化型フェイントショットタスク（LEDGAR、Case Hold、MedNLI、PubMedQA）において、CoT-T5（3B）および（11B）はFlan-T5を+2.24%および+2.37%上回った。
• 最大入力長のデモンストレーションを用いても、CoT-T5（3B）はGPT-3.5およびClaudeをそれぞれ+13.98%および+8.11%上回った。
• CoT Collectionの163個のCoTタスクのサブセットでT0（3B）を微調整した結果、11のP3評価ベンチマークで平均正解率が+8.65%向上した。
• mT0（3B）を8万件の翻訳済みインスタンスで多言語CoT微調整した結果、フランス語、日本語、韓国語、ロシア語、中国語の各言語でMGSM性能が2倍から10倍に向上した。

Figure 2: MCQA Prompt used to augment rationales from P3 dataset. Through ICL, the large LM generates a rationale that is conditioned on the ground-truth label.