[논문 리뷰] LLMs Do Not Grade Essays Like Humans
이 연구는 자동 에세이 채점을 위해 즉시 사용할 수 있는 GPT 및 Llama 모델을 평가하여 인간 채점자와의 일치가 약하고, 짧은 에세이를 과대평가하는 경향은 있지만 어투 minor errors가 있는 더 긴 에세이를 과소평가하는 경향이 있지만, LLM의 피드백은 점수와 일치한다.
Large language models have recently been proposed as tools for automated essay scoring, but their agreement with human grading remains unclear. In this work, we evaluate how LLM-generated scores compare with human grades and analyze the grading behavior of several models from the GPT and Llama families in an out-of-the-box setting, without task-specific training. Our results show that agreement between LLM and human scores remains relatively weak and varies with essay characteristics. In particular, compared to human raters, LLMs tend to assign higher scores to short or underdeveloped essays, while assigning lower scores to longer essays that contain minor grammatical or spelling errors. We also find that the scores generated by LLMs are generally consistent with the feedback they generate: essays receiving more praise tend to receive higher scores, while essays receiving more criticism tend to receive lower scores. These results suggest that LLM-generated scores and feedback follow coherent patterns but rely on signals that differ from those used by human raters, resulting in limited alignment with human grading practices. Nevertheless, our work shows that LLMs produce feedback that is consistent with their grading and that they can be reliably used in supporting essay scoring.
연구 동기 및 목표
- 학급 규모 증가와 교사 부족으로 인한 에세이 평가 자동화의 필요성을 제기한다.
- 즉시 사용 가능한 LLM(GPT 및 Llama 계열)이 에세이를 채점하는 방식이 인간 채점자와 비교해 어떤지 조사한다.
- LLM의 채점 행태가 루브릭 특성과 생성된 피드백과 어떻게 관련되는지 분석한다.
- LLM이 채점 범위를 압축하는지와 프롬프트가 인간과의 일치도에 영향을 주는지 살펴본다.
제안 방법
- 각 모델에 에세이 프롬프트, 루브릭, 에세이를 제공해 숫자 점수와 설명을 생성하도록 한다.
- 텍스트에서 에세이 수준의 특징(길이, 가독성, 언어 오류)을 추출한다.
- 모델이 생성한 피드백에 대해 ABSA를 수행해 특성별 칭찬과 비판을 정량화한다.
- LLM과 인간 점수 간의 점수 일치 지표(QWK, Pearson r, MAE)를 계산한다.
- 점수 차이가 에세이 특징 및 피드백 감정과 어떻게 관련되는지 분석한다.
- GPT-3.5, GPT-4, GPT-5, Llama 2, Llama 3, Llama 4를 사용해 ASAP Task 1, ASAP Task 7, DREsS 데이터셋 간 비교를 수행한다.
실험 결과
연구 질문
- RQ1다양한 데이터셋과 에세이 특성에서 LLM 생성 점수가 인간 점수와 일치하는가?
- RQ2LLM 점수가 생성하는 피드백과 일관성이 있는가, 즉 긍정적인 피드백 신호가 더 높은 점수와 상관관계가 있고 부정적 신호는 낮은 점수와 상관관계가 있는가?
- RQ3모델 생성 및 프롬프트 변형이 인간 채점자와의 일치도에 어떤 영향을 미치는가?
- RQ4데이터셋 전반에 걸쳐 LLM이 인간 채점자에 비해 채점 범위를 압축하는가?
- RQ5모델 주도 채점 패턴이 데이터셋(ASAP 대 DREsS)과 루브릭 특성에 따라 체계적으로 다르게 나타나는가?
주요 결과
- LLMs는 인간 채점자 간의 일치도보다 훨씬 약하게 인간 채점자와의 일치를 보이며(모델과 작업 전반에서 QWK가 0.30 미만).
- ASAP에서 인간 간 QWK는 0.72이고, 최상위 LLM은 DREsS에서 QWK가 약 0.34까지 도달한다.
- LLMs와 인간 간 MAE는 ASAP에서 약 0.16~0.57, DREsS에서 약 0.17~0.24인 반면, ASAP에서 인간 간 MAE는 약 0.07–0.09이다.
- GPT-3.5는 일관되게 약한 정합성을 보이며, 예를 들어 ASAP Task 1에서 QWK ~0.01; 모델은 세대 간 일관된 개선 없이 다양하다.
- LLMs는 짧거나 미개발된 에세이에 더 높은 점수를 부여하고, 경미한 오류가 있는 긴 에세이에 더 낮은 점수를 주는 경향이 있어 채점 범위의 축소를 시사한다.
- 피드백은 점수와 상관관계가 있다: 더 긍정적인 피드백은 보통 더 높은 점수와 함께 나타나고, 더 부정적인 피드백은 더 낮은 점수와 함께 나타난다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.