[논문 리뷰] Language Models as Science Tutors

Alexis Chevalier, Jiayi Geng외 20명|arXiv (Cornell University)|2024. 02. 16.

Innovative Teaching and Learning Methods인용 수 5

한 줄 요약

이 논문은 TutorEval이라는 장문 컨텍스트 과학 QA 벤치마크와 TutorChat이라는 장문 컨텍스트 대화 데이터셋을 소개하여 STEM 교육용 LM 튜터를 학습·평가하고, 과학 텍스트 미세조정과 TutorChat이 TutorEval 및 수학 과제 성능을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

NLP has recently made exciting progress toward training language models (LMs) with strong scientific problem-solving skills. However, model development has not focused on real-life use-cases of LMs for science, including applications in education that require processing long scientific documents. To address this, we introduce TutorEval and TutorChat. TutorEval is a diverse question-answering benchmark consisting of questions about long chapters from STEM textbooks, written by experts. TutorEval helps measure real-life usability of LMs as scientific assistants, and it is the first benchmark combining long contexts, free-form generation, and multi-disciplinary scientific knowledge. Moreover, we show that fine-tuning base models with existing dialogue datasets leads to poor performance on TutorEval. Therefore, we create TutorChat, a dataset of 80,000 long synthetic dialogues about textbooks. We use TutorChat to fine-tune Llemma models with 7B and 34B parameters. These LM tutors specialized in math have a 32K-token context window, and they excel at TutorEval while performing strongly on GSM8K and MATH. Our datasets build on open-source materials, and we release our models, data, and evaluations.

연구 동기 및 목표

• 과학 교육에서 짧은 컨텍스트 벤치마크를 넘어 실제 생활에서의 장문 컨텍스트 LM 보조의 필요성을 동기화한다.
• 다양한 STEM 도메인에 걸친 전문가가 작성한 장문 컨텍스트의 질문 세트를 만들어 LM 튜터링 능력을 평가한다.
• 교과서와 같은 상호작용에 LM 튜터를 미세 조정하기 위한 대규모 장문 컨텍스트 대화 데이터셋 TutorChat을 개발한다.
• 대화 데이터만으로의 미세 조정은 불충분함을 보여준다; 과학 텍스트와 TutorChat 데이터가 강력한 TutorEval 성능에 결정적이다.
• 과학 및 수학에 특화된 장문 컨텍스트 모델이 TutorEval, GSM8K, MATH에서 강한 베이스라인에 맞설 수 있음을 보여준다.

제안 방법

• 교과서 챕터에서 수학, CS, 물리학, 환경, 생명과학에 걸친 834개 질문으로 TutorEval를 구성하되(평균 약 1,800단어, 최대 6,100 단어).
• 각 질문에 대해 LM 평가를 안내하기 위한 정답 핵심 포인트를 주석 처리한다( LM 평가자가 이 핵심 포인트를 사용).
• GPT-4를 평가자로 사용하여 LM 튜터의 출력을 정답 핵심 포인트와 비교 평가하고 인간 판단과의 상관관계를 평가한다.
• GPT-3.5-Turbo와 GPT-4-Turbo를 사용하여 교과서 챕터에 대한 78K 건의 장문 합성 대화를 생성해 TutorChat을 만든다(확장 후 80K 대화).
• LM 컨텍스트를 32K 토큰(롱 컨텍스트)으로 확장하고 TutorChat와 MathMix 데이터셋(TutorChat-STEM + MetaMath)에서 Llemma-7B-32K를 미세조정한다.
• MathMix(TutorChat-STEM + MetaMath)를 제안하여 TutorEval 성능을 유지하면서 수학 능력을 향상시킨다.

Figure 1: Example from TutorEval . Given the chapter, the student asks a question to the LM Tutor. Both the chapter and the question are fed to the LM Tutor to generate the answer. GPT-4 assesses the generation by referencing the human annotated key points ( blue : the tutoring task; yellow : evalua

실험 결과

연구 질문

• RQ1 장문 컨텍스트의 과학 과제에서 최종 답변의 정답 여부를 넘어 LM 튜터를 어떻게 효과적으로 평가할 수 있는가?
• RQ2 과학 텍스트와 장문 컨텍스트 대화 데이터로의 학습이 TutorEval 성능을 base 또는 대화-전용 미세조정과 비교하여 향상시키는가?
• RQ3 TutorChat를 수학 중심 데이터(MetaMath)와 결합하는 것이 수학 문제 해결에 미치는 영향이 일반 과학 튜터링에 비해 어떠한가?
• RQ4 오픈북(Open-book) 대 폐쇄북(Closed-book) 설정이 장문 컨텍스트 과학 튜터의 강점과 한계를 드러내는가?
• RQ5 다양한 기본 모델과 데이터 혼합이 TutorEval, GSM8K, MATH에서 어떻게 작동하는가?

주요 결과

• TutorEval은 고급 과학 지식과 교과서 콘텐츠의 처리를 요구하는 여러 과학 도메인에 걸친 도전적인 장문 컨텍스트 벤치마크이다.
• GPT-4는 TutorEval 평가자로 사용될 때 인간 판단과의 상관관계가 잘 나타난다.
• 과학 텍스트와 TutorChat 데이터로의 미세조정은 기본 모델 및 대화-전용 미세조정에 비해 TutorEval 성능을 크게 향상시킨다.
• 수학 및 과학 데이터(MathMix)로 학습된 롱컨텍스트 모델(32K 토큰)은 수학 문제 해결에서 강한 성능을 달성하면서 TutorEval 경쟁력을 유지한다.
• MathMix(TutorChat-STEM + MetaMath) 같은 데이터 혼합은 강력한 수학 능력을 보여주며 GSM8K/MATH에서의 성능과 함께 TutorEval에서도 견고한 결과를 낸다, 몇몇 베이스라인을 능가한다.
• GPT-4가 생성한 대화의 TutorChat 데이터 품질은 sycophancy를 완화하고 오해를 유발하는 질문에 대한 강건성을 높일 수 있으며, 오픈북 대화가 폐쇄북보다 많은 경우에서 우수하다.

Figure 2: Left: performance breakdown on TutorEval by domains. Right: leaderboard of popular models on TutorEval . Our models, marked in bold, achieve competitive TutorEval performance.