[논문 리뷰] Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben

Rainer Muehlhoff, Marte Henningsen|arXiv (Cornell University)|2024. 12. 09.

Linguistic Education and Pedagogy인용 수 4

한 줄 요약

이 연구는 독일 중학교에서 사용되는 LLM 기반의 자동 과제 평가 도구인 Fobizz의 AI 점수 매기기 보조도구를 평가한다. 시장에서 객관적이고 시간 절약적이라고 홍보되지만, 이 도구는 일관성 없고 종종 비논리적인 점수와 피드백을 생성하며, 입력이 GPT로 생성된 경우에만 성능이 향상된다—이는 LLM 기반 교육 자동화의 근본적인 결함을 드러낸다.

ABSTRACT

This study examines the AI-powered grading tool "AI Grading Assistant" by the German company Fobizz, designed to support teachers in evaluating and providing feedback on student assignments. Against the societal backdrop of an overburdened education system and rising expectations for artificial intelligence as a solution to these challenges, the investigation evaluates the tool's functional suitability through two test series. The results reveal significant shortcomings: The tool's numerical grades and qualitative feedback are often random and do not improve even when its suggestions are incorporated. The highest ratings are achievable only with texts generated by ChatGPT. False claims and nonsensical submissions frequently go undetected, while the implementation of some grading criteria is unreliable and opaque. Since these deficiencies stem from the inherent limitations of large language models (LLMs), fundamental improvements to this or similar tools are not immediately foreseeable. The study critiques the broader trend of adopting AI as a quick fix for systemic problems in education, concluding that Fobizz's marketing of the tool as an objective and time-saving solution is misleading and irresponsible. Finally, the study calls for systematic evaluation and subject-specific pedagogical scrutiny of the use of AI tools in educational contexts.

연구 동기 및 목표

• 중등교육에서 자동 과제 평가를 위한 Fobizz의 AI 점수 매기기 보조도구의 기능적 적합성을 평가하기 위해.
• 도구가 점수 기준을 신뢰성 있게 적용하고 의미 있는 피드백을 생성하는지 조사하기 위해.
• LLM의 한계가 교육적 맥락에서 자동 평가의 정확성과 공정성에 미치는 영향을 검토하기 위해.
• 체계적인 교육적 과제에 대한 AI를 빠른 해결책으로 도입하는 경향을 비판하기 위해.
• 교육 분야에서 기관 도입 전에 체계적이고 교과별 평가가 이루어져야 한다고 촉구하기 위해.

제안 방법

• 다양한 학생이 작성한 과제와 GPT로 생성된 과제를 사용한 두 차례의 통제된 시험을 실시하였다.
• 도구의 출력을 사전 정의된 점수 기준과 교육적 표준에 따라 평가하였다.
• 여러 제출물 간의 수치적 점수와 질적 피드백의 일관성과 통일성을 분석하였다.
• 인간이 작성한 학생 과제와 AI가 생성한 텍스트의 결과를 비교하여 편향성과 신뢰성을 평가하였다.
• 도구의 의사결정 과정의 투명성과 해석 가능성(해석 가능성)을 평가하였다.
• 거짓 진술, 논리적 모순, 기준의 잘못된 적용과 같은 반복적인 오류를 특정하였다.

실험 결과

연구 질문

• RQ1 Fobizz의 AI 점수 매기기 보조도구는 다양한 학생 과제에 대해 얼마나 신뢰성 있고 일관성 있는 점수를 부여하는가?
• RQ2 도구가 생성하는 질적 피드백 주석은 얼마나 정확하고 의미 있는가?
• RQ3 학생 제출물에 존재하는 거짓되거나 비논리적인 내용을 도구는 감지하는가, 특히 그러한 내용이 포함된 경우에?
• RQ4 도구의 성능은 인간이 작성한 과제와 AI가 생성한 과제 간에 어떻게 다름이 있는가?
• RQ5 도구의 의사결정 과정은 얼마나 투명하며, 기존의 교육적 표준과 얼마나 일치하는가?

주요 결과

• AI 점수 매기기 보조도구는 자주 일관성 없고, 무작위적이거나 의미적으로 비일관성 있는 점수와 피드백을 부여한다.
• 도구의 제안을 반영한 후에도 점수 평가 품질이 향상되지 않아 체계적 결함이 있음을 시사한다.
• 최고의 점수는 오직 ChatGPT가 생성한 입력이 있을 때에만 달성되며, 이는 AI가 생성한 텍스트를 향한 근본적인 편향을 시사한다.
• 도구는 학생 제출물의 거짓 진술과 비논리적인 내용을 감지하지 못해 학업 윤리에 대한 우려를 제기한다.
• 점수 기준의 이행은 불신뢰할 수 있고 투명하지 않으며, 의사결정 과정에 대한 명확한 설명이 없다.
• 이러한 결함은 대규모 언어 모델의 본질적 한계에서 기인하며, 즉각적인 개선은 어렵다.