[논문 리뷰] The Responsible Development of Automated Student Feedback with Generative AI

Euan Lindsay, Mike Zhang외 2명|arXiv (Cornell University)|2023. 08. 29.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 8인용 수 6

한 줄 요약

이 논문은 고등교육에서 확장 가능하고 개인화된 피드백을 제공하는 책임감 있는 프레임워크를 제안하며, 기존의 자동화된 피드백의 한계를 극복하기 위해 대규모 언어 모델을 활용한다. 윤리적 설계, 포용성, 인간 전문성 통합, 지속적인 모델 개선을 강조하여 모든 학생, 특히 '중간 수준' 학습자 외의 학생들에게도 공정하고 고급 수준의 피드백을 보장한다.

ABSTRACT

Providing rich, constructive feedback to students is essential for supporting and enhancing their learning. Recent advancements in Generative Artificial Intelligence (AI), particularly with large language models (LLMs), present new opportunities to deliver scalable, repeatable, and instant feedback, effectively making abundant a resource that has historically been scarce and costly. From a technical perspective, this approach is now feasible due to breakthroughs in AI and Natural Language Processing (NLP). While the potential educational benefits are compelling, implementing these technologies also introduces a host of ethical considerations that must be thoughtfully addressed. One of the core advantages of AI systems is their ability to automate routine and mundane tasks, potentially freeing up human educators for more nuanced work. However, the ease of automation risks a ``tyranny of the majority'', where the diverse needs of minority or unique learners are overlooked, as they may be harder to systematize and less straightforward to accommodate. Ensuring inclusivity and equity in AI-generated feedback, therefore, becomes a critical aspect of responsible AI implementation in education. The process of developing machine learning models that produce valuable, personalized, and authentic feedback also requires significant input from human domain experts. Decisions around whose expertise is incorporated, how it is captured, and when it is applied have profound implications for the relevance and quality of the resulting feedback. Additionally, the maintenance and continuous refinement of these models are necessary to adapt feedback to evolving contextual, theoretical, and student-related factors. Without ongoing adaptation, feedback risks becoming obsolete or mismatched with the current needs of diverse student populations [...]

연구 동기 및 목표

• 고등교육에서 생성형 AI를 활용한 자동 학생 피드백 구현 시 발생하는 윤리적 과제를 해결한다.
• 다수의 학습자에게만 맞춰진 자동 피드백 시스템에서 비롯되는 '다数의 폭력' 문제를 해결하여 소수나 특수한 학습자가 소외당하지 않도록 한다.
• 피드백이 학생의 필요 변화와 교육적 맥락 변화에 맞게 개인화되고 유연하게 유지될 수 있도록 보장한다.
• 피드백 품질과 진정성을 유지하기 위해 인간의 전문 지식을 AI 피드백 개발에 의미 있게 통합한다.
• 신뢰를 구축하고 장기적 효과를 확보하기 위해 지속 가능하고 투명하며 감사 가능한 AI 피드백 시스템 운영 프로세스를 확립한다.

제안 방법

• AI 피드백 개발의 윤리적 의사결정을 위한 체계적 기준으로 RESPACT 프레임워크를 채택한다.
• 교육적 관련성과 진정성을 확보하기 위해 인간 전문가 지식을 모델 훈련 및 피드백 생성 과정에 통합한다.
• 학습자 집단, 커리큘럼, 이론적 프레임워크의 변화에 따라 지속적인 모델 개선 및 적응을 구현한다.
• 편향 및 공정성 문제를 탐지하고 완화하기 위해 철저한 다각도의 사용자 테스트와 정기적인 시스템 감사를 실시한다.
• 포prehensive 문서화와 사용자 중심 가이드를 통해 투명성과 설명 가능성을 확보한다.
• 책임감 있고 효과적인 AI 피드백 도구 사용을 지원하기 위해 교사 대상 AI 리터러시 교육을 통합한다.

실험 결과

연구 질문

• RQ1 생성형 AI는 어떻게 윤리적으로 개발되어야 하며, 기존 교육적 불평등을 강화하지 않도록 확장 가능하고 개인화된 피드백을 제공할 수 있는가?
• RQ2 인간의 전문 분야 지식은 AI 기반 피드백 시스템 설계 및 개선 과정에서 어떤 역할을 해야 하는가?
• RQ3 다양한 학생 집단에 걸쳐 지속적으로 관련성 있고 효과적인 피드백을 유지하기 위해 AI 피드백 시스템은 어떻게 유지 및 개선되어야 하는가?
• RQ4 인간 교사의 역할을 대체하지 않으면서도 AI 기반 피드백의 투명성, 설명 가능성, 신뢰성을 확보하기 위한 메커니즘은 무엇인가?
• RQ5 교사의 AI 리터러시는 어떻게 기르며, 이를 통해 AI 피드백 도구의 책임감 있는 통합을 지원할 수 있는가?

주요 결과

• 생성형 AI는 기존의 자동화된 시스템으로는 이룰 수 없었던 수준의 확장성, 즉각성, 개인화된 피드백을 가능하게 한다.
• 현재의 자동 피드백 시스템은 주로 '중간 수준'의 학생을 대상으로 하며, 개발 비용이 높아 뛰어난 성과를 내는 학생과 어려움을 겪는 학생은 여전히 충분한 피드백을 받지 못하고 있다.
• AI 기반 피드백 출력물의 품질, 진정성, 교육적 관련성을 확보하기 위해 인간 전문가 지식의 통합이 필수적이다.
• 피드백가 현재 학생의 필요와 일치하지 않거나 노후화되지 않도록 방지하기 위해 지속적인 모델 유지 및 적응이 핵심이다.
• 편향 탐지 및 공정성 확보를 위해 철저한 테스트, 다양한 사용자 평가, 정기적인 감사가 필수적이다.
• AI 피드백 도구의 책임감 있는 효과적인 사용을 위해서는 교사의 AI 리터러시가 필수 조건이지만, 현재 많은 교사들이 이에 대한 지식을 보유하고 있지 않다.