[논문 리뷰] ALERT: Adapting Language Models to Reasoning Tasks

Ping Yu, Tianlu Wang외 7명|arXiv (Cornell University)|2022. 12. 16.

Topic Modeling인용 수 9

한 줄 요약

ALERT는 대규모 언어 모델(LM)의 미세 조정된 추론 능력을 평가하기 위한 종합적인 벤치마크 및 분석 세트를 소개한다. 이 연구는 특히 사고의 사슬(Chain-of-Thought, CoT) 추론을 통한 미세 조정이 텍스트 함의, 추론적 추론, 유사 추론과 같은 추론 능력을 크게 향상시킨다는 것을 입증한다. 연구 결과에 따르면, 미세 조정은 단순한 기억 저장을 넘어서 추론 능력을 향상시키지만, 모델들은 종종 프롬프트 템플릿에 과적합되어 정교함이 떨어지는 경향이 있다.

ABSTRACT

Current large language models can perform reasonably well on complex tasks that require step-by-step reasoning with few-shot learning. Are these models applying reasoning skills they have learnt during pre-training and reason outside of their training context, or are they simply memorizing their training corpus at finer granularity and have learnt to better understand their context? To tease apart these possibilities, we introduce ALERT, a benchmark and suite of analyses for assessing language models' reasoning ability comparing pre-trained and finetuned models on complex tasks that require reasoning skills to solve. ALERT provides a test bed to asses any language model on fine-grained reasoning skills, which spans over 20 datasets and covers 10 different reasoning skills. We leverage ALERT to further investigate the role of finetuning. With extensive empirical analysis we find that language models learn more reasoning skills such as textual entailment, abductive reasoning, and analogical reasoning during finetuning stage compared to pretraining state. We also find that when language models are finetuned they tend to overfit to the prompt template, which hurts the robustness of models causing generalization problems.

연구 동기 및 목표

• LLM이 미세 조정 과정에서 추론 능력을 습득하는지, 아니면 단순히 훈련 데이터를 기억하는지 확인하는 것.
• 논리적, 인과적, 공간적 추론과 같은 특정 추론 능력이 미세 조정으로 얼마나 향상되는지 평가하는 것.
• 성능 향상 요인이 데이터 기억, 템플릿 기억, 또는 실제 추론 능력 습득에서 비롯되는지 진단하는 것.
• 다양한 추론 유형과 모델 유형에 걸쳐 추론 능력을 세밀하게 평가할 수 있는 벤치마크를 개발하는 것.
• 분포 변화와 프롬프트 템플릿 변형 상황에서 미세 조정된 모델의 정교함을 평가하는 것.

제안 방법

• ALERT는 논리적, 인과적, 공통 지식, 추론적, 공간적, 유사적, 논증적, 연역적, 텍스트 함의, 수학적 추론을 포함한 10종류의 추론 능력을 갖춘 20개 이상의 데이터셋을 포함하는 벤치마크 세트이다.
• 이 프레임워크는 어떤 언어 모델이라도 추론 작업을 평가하기 위해 제로샷, 피셔샷, 사고의 사슬(Chain-of-Thought, CoT) 프롬프팅을 지원한다.
• 세 가지 모델 유형을 평가한다: 사전 훈련된 OPT 모델, 기준 답변에 대해 미세 조정된 OPT 모델 (OPT-FT), 그리고 추론 레이블이 부여된 데이터에 대해 CoT로 미세 조정된 OPT 모델 (OPT-CoT).
• 훈련 데이터와 평가 데이터 간의 어휘 겹침 분석을 통해 미세 조정이 미치는 기억 효과를 측정한다.
• 훈련 데이터에 존재하지 않는 추론 능력을 분리하기 위해 보류된 데이터셋을 구성하여 일반화 및 능력 이행 능력을 평가한다.
• 프롬프트 템플릿을 다양화함으로써 정교함을 테스트하여, 모델이 특정 템플릿 구조에 과적합되어 있음을 확인한다.

실험 결과

연구 질문

• RQ1 미세 조정된 LLM이 훈련 예제나 프롬프트 템플릿을 기억하는 것 외에 얼마나 새로운 추론 능력을 습득하는가?
• RQ2 어느 특정 추론 능력(예: 추론적, 유사적, 인과적)이 미세 조정 후 가장 큰 향상을 보이는가?
• RQ3 CoT 미세 조정은 일반적인 미세 조정보다 더 나은 추론 성능을 내는가? 그리고 일반화 능력을 향상시키는가?
• RQ4 추론 작업에서 성능 향상의 몇 퍼센트가 데이터 기억 때문인지, 실제 능력 습득 때문인지?
• RQ5 프롬프트 템플릿이 모델 행동에 얼마나 큰 영향을 미치는가? 그리고 템플릿에 과적합되면 정교함이 떨어지는가?

주요 결과

• 미세 조정은 텍스트 함의, 추론적 추론, 유사 추론 등 여러 추론 능력에서 성능 향상을 크게 보이며, 이는 단순한 기억을 넘어서 실제 능력 습득을 의미한다.
• 추론 레이블이 포함된 데이터로 미세 조정된 모델(OPT-CoT)은 일반적인 미세 조정(OPT-FT)보다 복잡한 다단계 작업에서 뛰어난 추론 성능을 보인다.
• 성능 향상의 상당 부분은 데이터 기억 때문이 아니며, 보류된 데이터셋에서 훈련 데이터와 평가 데이터 간 어휘 겹침 비율이 낮다는 점에서 이를 뒷받침한다.
• 모델들은 프롬프트 템플릿에 강하게 과적합되어 있으며, 템플릿이 변경되면 성능이 크게 떨어지며 정교함이 떨어지는 것으로 나타났다.
• 최신 기술 모델인 text-davinci-003와 ChatGPT로 하더라도 일부 추론 작업에서 실패를 보이며, ALERT와 같은 체계적인 평가 프레임워크의 필요성을 강조한다.
• 벤치마크는 훈련 중에 볼 수 없었던 추론 능력에 대해 모델의 일반화 능력이 떨어지는 것으로 드러났으며, 특히 미세 조정 데이터에서 제외된 능력에 대해 더욱 두드러진다.