[논문 리뷰] Beyond Answers: Transferring Reasoning Capabilities to Smaller LLMs Using Multi-Teacher Knowledge Distillation

Yijun Tian, Yikun Han외 3명|arXiv (Cornell University)|2024. 02. 07.

Natural Language Processing Techniques인용 수 4

한 줄 요약

TinyLLM는 여러 대규모 언어 모델(Large Language Models, LLMs)에서 다수의 교사 모델을 활용하여 추론 능력을 더 작은 학생 모델로 전이하는 다중 교사 지식 정련 프레임워크를 제안한다. 이는 추론 지시 훈련을 통해 고품질의 맥락 기반 추론 과정을 학습함으로써 달성된다. 문맥 기반의 예시 생성기와 교사-강제 체인 오브 사고(Chain-of-Thought) 전략을 활용함으로써 학생 모델은 정확하고 맥락에 부합하는 추론 과정을 학습하게 되며, 이는 전체 미세조정 대비 최대 12.57%의 성능 향상을 이끌어내지만 교사 모델 크기의 1.1%만을 사용한다.

ABSTRACT

Transferring the reasoning capability from stronger large language models (LLMs) to smaller ones has been quite appealing, as smaller LLMs are more flexible to deploy with less expense. Among the existing solutions, knowledge distillation stands out due to its outstanding efficiency and generalization. However, existing methods suffer from several drawbacks, including limited knowledge diversity and the lack of rich contextual information. To solve the problems and facilitate the learning of compact language models, we propose TinyLLM, a new knowledge distillation paradigm to learn a small student LLM from multiple large teacher LLMs. In particular, we encourage the student LLM to not only generate the correct answers but also understand the rationales behind these answers. Given that different LLMs possess diverse reasoning skills, we guide the student model to assimilate knowledge from various teacher LLMs. We further introduce an in-context example generator and a teacher-forcing Chain-of-Thought strategy to ensure that the rationales are accurate and grounded in contextually appropriate scenarios. Extensive experiments on six datasets across two reasoning tasks demonstrate the superiority of our method. Results show that TinyLLM can outperform large teacher LLMs significantly, despite a considerably smaller model size. The source code is available at: https://github.com/YikunHan42/TinyLLM.

연구 동기 및 목표

• 작은 LLM에 대한 단일 교사 지식 정련에서의 지식 다양성 부족과 맥락 기반 추론의 부재 문제를 해결하기 위해.
• 다양한 교사 LLM들로부터의 학습을 통해 컴act한 학생 모델의 일반화 능력과 추론 능력을 향상시키기 위해.
• 단지 정답 레이블에 의존하는 것 외에 풍부하고 맥락에 기반한 추론 과정을 통합함으로써 정련 품질을 향상시키기 위해.
• 최소한의 파라미터 오버헤드로도 높은 성능을 유지하면서도 확장 가능하고 효율적인 정련 파이프라인을 개발하기 위해.

제안 방법

• 다양한 추론 시각과 지식을 제공하기 위해 여러 대규모 LLM(예: FLAN-T5 및 LLaMA 2)을 공동 교사로 활용한다.
• 작업 예시를 제공하기 위해 문맥 기반의 예시 생성기를 활용함으로써 교사 모델이 맥락에 적합한 추론 과정을 생성할 수 있도록 한다.
• 교사가 생성한 추론 과정이 입력 맥락과 정확하게 일치하도록 보장하기 위해 교사-강제 체인 오브 사고 전략을 적용한다.
• 정답 정확도와 추론 일관성을 동시에 최적화하는 다중 작업 지침 훈련을 통해 학생 모델을 훈련시킨다.
• 다양한 교사들로부터의 추론 기여도를 균형 있게 조절하기 위해 무게 조정 기법(α)을 도입한다.
• 비교를 위해 LoRA와 전체 미세조정 기반 설정을 경량 훈련 환경에서 활용한다.

실험 결과

연구 질문

• RQ1 다양한 LLM들로부터의 지식 정련이 단일 교사 접근에 비해 더 작은 학생 모델의 추론 일반화 능력을 향상시키는가?
• RQ2 여러 교사들로부터의 추론 신호를 통합하는 것이 정답 레이블에만 의존하는 것보다 더 높은 성능을 내는가?
• RQ3 문맥 기반 예시 생성기와 교사-강제 체인 오브 사고 전략이 정련에 적합한 맥락 기반 추론 과정을 얼마나 효과적으로 생성하는가?
• RQ4 작은 학생 모델이 얼마나 높은 수준의 추론 과제에서 더 큰 교사 모델을 초월할 수 있는가?
• RQ5 추론 통합에 대한 무게 조정 파라미터 α와 같은 초모수 설정에 대해 성능가 얼마나 민감한가?

주요 결과

• 780M 파라미터 학생 모델은 7B 교사 모델 크기의 1.1%만을 사용함에도 불구하고 전체 미세조정 대비 평균 12.57%의 성능 향상을 달성한다.
• 780M 학생 모델은 여섯 개의 데이터셋을 통틀어 3B 및 7B 교사 모델보다 각각 +14.56%와 +23.40% 높은 성능을 기록한다.
• 250M 파라미터 학생 모델은 3B 교사 모델보다 +0.70% 높고, 7B 교사 모델보다 +16.82% 높은 성능을 보이며, 각각 파라미터의 8.3%와 3.6%만을 사용한다.
• 제거 실험 결과, 문맥 기반 예시나 교사의 추론 과정을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 이들이 핵심적인 역할을 한다는 점을 검증한다.
• 초모수 분석 결과, 최적의 α 값은 작업 유형에 따라 달라진다: 간결한 공통 지식 추론에는 높은 α가 유리하고, 복잡한 생물의학 질문에는 낮은 α로도 충분하다.
• 이 방법은 공통 지식(ObQA, ARC, PIQA, RiddleSense)과 생물의학(PubMedQA, BioASQ) 추론 과제 모두에서 일관되게 성능 향상을 이룬다.