[논문 리뷰] The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning

Seungone Kim, Se June Joo외 5명|arXiv (Cornell University)|2023. 05. 23.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 1,060개의 작업을 통해 총 184만 개의 체인 오브 타ught(CoT) 추론 과정을 포함하는 대규모 지시 테이닝 데이터셋인 CoT 컬렉션을 소개한다. 이는 더 작은 언어 모델에서 zero-shot 및 few-shot 추론 성능을 향상시키기 위한 것이다. 이 데이터셋으로 Flan-T5(3B 및 11B)를 테이닝하면, BIG-Bench-Hard에서 평균 정확도가 각각 +4.34% 및 +2.60% 향상되며, GPT-3.5 및 Claude보다도 few-shot 설정에서 13.98%의 격차를 확보한다.

ABSTRACT

Language models (LMs) with less than 100B parameters are known to perform poorly on chain-of-thought (CoT) reasoning in contrast to large LMs when solving unseen tasks. In this work, we aim to equip smaller LMs with the step-by-step reasoning capability by instruction tuning with CoT rationales. In order to achieve this goal, we first introduce a new instruction-tuning dataset called the CoT Collection, which augments the existing Flan Collection (including only 9 CoT tasks) with additional 1.84 million rationales across 1,060 tasks. We show that CoT fine-tuning Flan-T5 (3B & 11B) with CoT Collection enables smaller LMs to have better CoT capabilities on unseen tasks. On the BIG-Bench-Hard (BBH) benchmark, we report an average improvement of +4.34% (Flan-T5 3B) and +2.60% (Flan-T5 11B), in terms of zero-shot task accuracy. Furthermore, we show that instruction tuning with CoT Collection allows LMs to possess stronger few-shot learning capabilities on 4 domain-specific tasks, resulting in an improvement of +2.24% (Flan-T5 3B) and +2.37% (Flan-T5 11B), even outperforming ChatGPT utilizing demonstrations until the max length by a +13.98% margin. Our code, the CoT Collection data, and model checkpoints are publicly available.

연구 동기 및 목표

• 더 작은 언어 모델(1000억 파ram 이하)이 새로운 작업에서 zero-shot 및 few-shot 추론 성능이 열 劣한 문제를 해결하기 위해.
• 기존의 CoT 지시 테이닝 데이터셋이 작고 불균형하여 작은 모델에서 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 다양한 새로운 작업에서 CoT 추론을 일반화할 수 있도록, 종합적이고 확장 가능한 지시 테이닝 데이터셋을 개발하기 위해.
• 대규모이고 다양한 데이터셋을 활용한 CoT 테이닝이 최종 벤치마크에서 zero-shot 및 few-shot 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• CoT 컬렉션은 기존의 9개의 CoT 작업을 기반으로 1,060개의 작업에 걸쳐 총 184만 개의 CoT 추론 과정을 추가하여 구축되었다.
• 이 데이터셋을 사용해 Flan-T5 모델(3B 및 11B)을 테이닝하여, 단계별 추론에 최적화된 새로운 모델인 CoT-T5를 도출하였다.
• 지시 테이닝에 CoT 예시를 적용하여 추론 과정의 중간 단계를 생성하고 최종 예측을 내리는 인퍼런스 중에 모델이 단계별로 추론할 수 있도록 하였다.
• 제거 실험을 통해 163개의 작업(제로 설정) 및 다국어 데이터(5개 언어에서 8만 건)를 사용해 저자원 및 다국어 일반화 능력을 평가하였다.
• CoT 프롬프팅을 사용해 zero-shot(BIG-Bench-Hard) 및 few-shot(도메인 특화된 법률/의료 작업) 벤치마크에서 평가를 수행하였다.
• 다국어 적응은 mT0(3B)를 번역된 CoT 데이터로 테이닝하여 수행되었으며, 5개 언어에서 MGSM 성능을 측정하였다.

Figure 1: An illustration of the overall task group and dataset source of where we obtained the instances to augment the rationales in CoT Collection . Compared to the 9 datasets that provide publicly available rationales (included within ‘Flan-T5 ExQA’, ‘Flan-T5 Arithmetic’, ‘Flan-T5 MCQA’, ‘Flan-T

실험 결과

연구 질문

• RQ1 대규모이고 다양한 CoT 지시 테이닝 데이터셋이 더 작은 언어 모델의 zero-shot 추론 성능을 크게 향상시킬 수 있는가?
• RQ2 작은 수의 CoT 작업으로 테이닝하는 것보다, 다양한 작업 범위로 CoT 테이닝을 수행하면 더 나은 일반화 성능을 얻을 수 있는가?
• RQ3 도메인 특화된 작업에서 CoT 테이닝이 few-shot 학습 능력을 향상시켜, 대규모 모델에 비해 더 뛰어난 성능을 낼 수 있는가?
• RQ4 다국어 CoT 테이닝이 저자원 언어에서 zero-shot 추론 능력을 어느 정도 향상시키는가?
• RQ5 few-shot 설정에서 CoT 테이닝은 GPT-3.5 및 Claude와 같은 대규모 모델의 인라인 학습과 비교해 어떻게 성능을 냈는가?

주요 결과

• CoT-T5(3B)는 zero-shot CoT 프롬프팅 하에서 27개의 BIG-Bench-Hard 벤치마크에서 Flan-T5(3B) 대비 평균 정확도가 +4.34% 향상되었다.
• CoT-T5(11B)는 동일한 벤치마크에서 Flan-T5(11B) 대비 zero-shot 정확도가 +2.60% 향상되었다.
• LEDGAR, Case Hold, MedNLI, PubMedQA 등 4개의 도메인 특화된 few-shot 작업에서 CoT-T5(3B)와 (11B)는 각각 Flan-T5를 대비해 +2.24% 및 +2.37%의 정확도 향상을 기록했다.
• CoT-T5(3B)는 GPT-3.5 및 Claude를 각각 +13.98% 및 +8.11% 초월하는 성능을 보였으며, 이는 최대 입력 길이의 예시를 사용한 대비에서도 성립한다.
• CoT 컬렉션에서 163개의 CoT 작업을 추출해 T0(3B)를 테이닝한 결과, 11개의 P3 평가 벤치마크에서 평균 정확도가 +8.65% 향상되었다.
• mT0(3B)를 8만 건의 번역된 인스턴스로 다국어 CoT 테이닝한 결과, 프랑스어, 일본어, 한국어, 러시아어, 중국어 등 5개 언어에서 MGSM 성능이 2배에서 10배까지 향상되었다.

Figure 2: MCQA Prompt used to augment rationales from P3 dataset. Through ICL, the large LM generates a rationale that is conditioned on the ground-truth label.