[논문 리뷰] Large Language Models Are Reasoning Teachers

Namgyu Ho, Laura Schmid외 1명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 대규모 언어모델(GPT-3 175B 등)을 추론 교사로 사용하여 다단계 추론 과정을 생성하고, 이를 통해 소형 학생 모델을 미세조정하는 Fine-tune-CoT 방법을 제안한다. 이로 인해 소형 모델도 뛰어난 추론 성능을 달성할 수 있다. 주요 기여는 소형 모델(0.3B 파라미터까지 가능)이 복잡한 추론 과제에서 더 큰 학생 모델뿐 아니라 175B 교사 모델조차도 능가할 수 있다는 점이며, 특히 교사로부터 유래한 다양한 추론 경로를 통합함으로써 성능 향상이 이루어진다.

ABSTRACT

Recent works have shown that chain-of-thought (CoT) prompting can elicit language models to solve complex reasoning tasks, step-by-step. However, prompt-based CoT methods are dependent on very large models such as GPT-3 175B which are prohibitive to deploy at scale. In this paper, we use these large models as reasoning teachers to enable complex reasoning in smaller models and reduce model size requirements by several orders of magnitude. We propose Fine-tune-CoT, a method that generates reasoning samples from very large teacher models to fine-tune smaller models. We evaluate our method on a wide range of public models and complex tasks. We find that Fine-tune-CoT enables substantial reasoning capability in small models, far outperforming prompt-based baselines and even the teacher model in many tasks. Additionally, we extend our method by leveraging the teacher model's ability to generate multiple distinct rationales for each original sample. Enriching the fine-tuning data with such diverse reasoning results in a substantial performance boost across datasets, even for very small models. We conduct ablations and sample studies to understand the emergence of reasoning capabilities of student models. Our code implementation and data are available at https://github.com/itsnamgyu/reasoning-teacher.

연구 동기 및 목표

• 대규모 추론이나 비용이 많이 드는 인간 레이블링이 없는 소형 언어모델에서 복잡한 추론을 가능하게 하기 위해.
• 추론 능력을 희석을 통해 전달함으로써 매우 큰 모델(예: 175B 파라미터)에 대한 의존도를 줄이기 위해.
• 교사 모델로부터 유래한 다양한 추론 생성을 통해 학생 모델의 성능을 향상시키고 수동 레이블링을 피하기 위해.
• 교사가 생성한 추론 과정에 대해 미세조정을 거친 후 소형 모델에서 추론 능력이 어떻게 나타나는지 조사하기 위해.
• 거대 모델이 필요한 프롬프트 기반 체인 오브 썬스 방법의 확장 가능하고 배포에 유리한 대안을 제공하기 위해.

제안 방법

• 0-shot 체인 오브 썬스 프롬프팅을 통해 매우 큰 언어모델(예: GPT-3 175B)을 사용해 다단계 추론 과정을 생성한다.
• 최종 답변의 정확도를 기반으로 생성된 추론 과정을 필터링하여 고품질의 훈련 데이터를 확보한다.
• 정제된 질문-추론-답안 쌍을 기반으로 소형 학생 모델을 미세조정하여 추론 능력을 전이한다.
• 각 입력에 대해 다수의 서로 다른 추론 경로를 생성하기 위해 온도 샘플링(T=0.7)을 활용하여 추론의 다양성을 증대시킨다. 이는 훈련 데이터를 풍부하게 한다.
• 12개의 다양한 추론 과제에서 오픈소스 및 프라이빗 모델을 대상으로 일반적인 미세조정과 다양한 추론 미세조정을 모두 적용한다.
• 오픈소스 모델의 경우 일관된 훈련 설정(고정된 학습률=3e-4, 배치 크기=8, 최대 20 에포크)을 사용하고, 프라이빗 모델의 경우 기본 OpenAI API 설정을 사용한다.

실험 결과

연구 질문

• RQ1 매우 큰 언어모델이 소형 학생 모델에서 복잡한 추론을 가능하게 하기 위해 효과적으로 추론 교사로 기능할 수 있는가?
• RQ2 교사 모델로부터 유도된 다수의 다양한 추론 경로가 학생 모델의 성능에 어떤 영향을 미치는가?
• RQ3 교사가 생성한 추론 과정에 대해 미세조정을 거친 소형 학생 모델(예: 0.3B 파라미터)이 더 큰 모델이나 교사 모델조차도 능가할 수 있는가?
• RQ4 데이터셋 크기, 교사 품질, 학생 모델 크기 등의 요소가 Fine-tune-CoT 방법의 확장성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 교수된 추론 데이터에 대해 미세조정을 거친 소형 모델에서 추론 능력이 어떻게 나타나는가?

주요 결과

• 교사가 생성한 추론 과정을 기반으로 미세조정된 소형 학생 모델은 프롬프트 기반 기준 모델을 크게 초월하고, 일부 과제에서는 175B 교사 모델조차도 능가하는 성능을 달성한다.
• 0.3B 파라미터에 불과한 모델도 교사로부터 유래한 다양한 추론 데이터로 훈련된 경우, 더 큰 학생 모델(예: 3B–12B)보다 뛰어난 성능을 보인다.
• 온도 샘플링을 통한 다양한 추론 경로의 활용은 모든 데이터셋에서 뚜렷한 성능 향상을 이끌어내며, 훈련 시 추가적인 계산 비용이 거의 들지 않아도 된다.
• 모델 크기, 데이터셋 크기, 교사 품질, 다양한 추론의 사용 여부에 관계없이 성능이 일관되게 확장 가능하여 강건성과 일반화 능력이 뛰어나다.
• 절단 실험 결과, 추론 과정을 기반으로 한 미세조정이 추론 성능 향상에 필수적임을 확인하였으며, 추론 과정 없이 일반적인 미세조정만을 수행한 경우 소형 모델에서 추론 능력이 유도되지 않았다.
• 예시 수준의 분석을 통해 학생 모델이 다양한 교사 추론 과정에서 추론 패턴을 일반화하는 것을 학습하고 있음을 확인하였으며, 이는 데이터 증강을 통한 잠재적 추론 능력의 기초가 됨을 시사한다.