[논문 리뷰] LLM-as-a-tutor in EFL Writing Education: Focusing on Evaluation of Student-LLM Interaction

Jieun Han, Haneul Yoo외 9명|arXiv (Cornell University)|2023. 10. 08.

Online Learning and Analytics인용 수 4

한 줄 요약

이 논문은 LLM을 활용해 항목별 평가 기준(내용, 구성, 언어) 점수와 구체적이고 유용한 피드백을 생성하는 FABRIC라는 파이프라인을 소개한다. 이는 DREsS(실제 데이터셋), CASE(오류 기반 데이터 증강 전략), EssayCoT(새로운 에세이 체인 오브 써포트 프롬프팅 방법)를 결합하여 기준 모델 대비 피드백의 유용성과 모델 성능을 크게 향상시킨다.

ABSTRACT

In the context of English as a Foreign Language (EFL) writing education, LLM-as-a-tutor can assist students by providing real-time feedback on their essays. However, challenges arise in assessing LLM-as-a-tutor due to differing standards between educational and general use cases. To bridge this gap, we integrate pedagogical principles to assess student-LLM interaction. First, we explore how LLMs can function as English tutors, providing effective essay feedback tailored to students. Second, we propose three metrics to evaluate LLM-as-a-tutor specifically designed for EFL writing education, emphasizing pedagogical aspects. In this process, EFL experts evaluate the feedback from LLM-as-a-tutor regarding quality and characteristics. On the other hand, EFL learners assess their learning outcomes from interaction with LLM-as-a-tutor. This approach lays the groundwork for developing LLMs-as-a-tutor tailored to the needs of EFL learners, advancing the effectiveness of writing education in this context.

연구 동기 및 목표

• EFL 작문 교육에서 자동 에세이 점수 평가(AES)를 위한 표준화되고 항목 기반의 데이터셋이 부족한 문제를 해결하기 위해.
• 통제된 오류를 도입하는 새로운 데이터 증강 전략(CASE)을 통해 항목 기반 AES 모델의 정확도를 향상시키기 위해.
• 예측된 항목 기반 점수를 활용해 LLM의 피드백 생성을 이끄는 프롬프팅 방법(EssayCoT)을 개발하여 보다 구체적이고 도움이 되는 피드백을 생성하기 위해.
• 실제 EFL 작문 수업 환경에서 종합적인 파이프라인을 평가하여 모델 성능과 사용자 만족도를 함께 분석하기 위해.

제안 방법

• FABRIC는 DREsS(전문가가 내용, 구성, 언어 항목별로 평가한 1,782편의 EFL 에세이로 구성된 실생활 데이터셋), CASE(실제 에세이에 자연스러운 문장 수준의 오류를 도입하여 생성된 합성 에세이를 통해 모델 일반화 능력을 향상시키는 오류 기반 데이터 증강 전략), EssayCoT(예측된 항목 기반 점수를 체인 오브 써포트로 활용해 LLM이 더 정확하고 일관성 있는 피드백을 생성하도록 이끄는 프롬프팅 전략)로 구성된 3단계 파이프라인이다.
• DREsS는 실제 EFL 학생의 에세이에서 유래한 것으로, 전문가가 항목 기반 점수를 부여하여 표준화된 항목 기반 AES의 기준이 되는 벤치마크를 제공한다.
• CASE는 고품질 에세이에 자연스럽게 오류를 도입하여 합성 학습 데이터를 생성하며, 이로 인해 총 3.9K개의 내용 오류, 15.7K개의 구성 오류, 0.9K개의 언어 오류 합성 샘플이 생성되어 모델의 강건성 향상에 기여한다.
• EssayCoT는 AES 모델이 예측한 항목 기반 점수를 체인 오브 써포트로 활용하여, 표준 프롬프팅보다 더 구체적이고 일관성 있는 피드백 생성을 유도한다.
• AES 모델는 DREsS로 미세조정되고 CASE로 증강되어 기준 모델 대비 26.37% 향상된 2차 가중 카피아 계수(QWK) 점수를 확보하였다.
• 피드백은 전문가 평가와 학생 대상 배포를 통해 평가되었으며, 파이프라인은 실제 에세이 편집 플랫폼에 통합되어 실생활 테스트가 수행되었다.

Figure 1: Overview of the pipeline. Rubric-based AES data (DREsS) is used to train AES model, which is enhanced by CASE to more accurately predict rubric-based scores. EssayCoT leverages these scores for essay feedback generation. FABRIC’s final outputs, scores and feedback, are used for EFL writing

실험 결과

연구 질문

• RQ1 표준화되고 전문가가 애너테이션한 항목 기반 데이터셋(DREsS)이 EFL 작문 교육에서 자동 에세이 점수 평가의 신뢰성과 일관성을 향상시킬 수 있는가?
• RQ2 오류 기반 데이터 증강 전략(CASE)이 기존 데이터셋 기반 학습 대비 항목 기반 AES 모델의 성능을 유의미하게 향상시킬 수 있는가?
• RQ3 예측된 항목 기반 점수를 활용하는 체인 오브 써포트 프롬프팅 전략(EssayCoT)이 표준 프롬프팅 방식보다 더 유용하고 전문가가 선호하는 피드백을 생성할 수 있는가?
• RQ4 실제 EFL 작문 수업 환경에서 학생들은 AI가 생성한 점수와 피드백을 어떻게 인식하고 평가하는가?

주요 결과

• 내용, 구성, 언어 항목별로 전문가가 애너테이션한 점수를 포함한 1,782편의 실제 EFL 학생 에세이로 구성된 DREsS 데이터셋은 항목 기반 AES에 대한 신뢰할 수 있는 기준이 된다.
• CASE 증강 전략은 기준 모델의 2차 가중 카피아 계수(QWK) 점수를 26.37% 향상시켜 항목 기반 점수 평가의 정확도를 유의미하게 향상시켰다.
• EssayCoT 프롬프팅을 통해 생성된 피드백은 13명의 영어 교육 전문가 평가에서 표준 프롬프팅 방식보다 유의미하게 더 유용하고 선호됨이 확인되었다.
• 33명의 EFL 학생을 대상으로 실시한 실생활 배포에서 생성된 점수와 피드백은 평균 7점 만점에 6점의 리커트 척도 평가를 기록하여 높은 사용자 수용도를 보였다.
• 증강된 데이터셋에서 파이프라인은 약 0.6의 QWK 점수를 확보하여 항목 기반 점수 평가에서 뛰어난 성능을 보였다.
• 전문가 평가 결과, EssayCoT로 생성된 피드백은 표준 프롬프팅 대비 더 구체적이고 실행 가능하며 교육적 목표와 잘 부합하는 것으로 확인되었다.

Figure 2: Prompt for EssayCoT