[논문 리뷰] Contra generative AI detection in higher education assessments

Cesare Giulio Ardito|arXiv (Cornell University)|2023. 12. 08.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 논문은 고등교육 현장에서 생성형 AI 탐지 도구의 사용을 비판하며, 이들이 효과적이지 않으며 윤리적으로 문제되고 현대 교육 현실과도 맞지 않는다고 주장한다. 생성형 AI 사용을 수용하면서도 학문적 정당성과 진정성을 유지할 수 있도록, 탐지 기반 정책을 교육적 가치에 기반한 평가 재설계로 전환할 것을 제안한다.

ABSTRACT

This paper presents a critical analysis of generative Artificial Intelligence (AI) detection tools in higher education assessments. The rapid advancement and widespread adoption of generative AI, particularly in education, necessitates a reevaluation of traditional academic integrity mechanisms. We explore the effectiveness, vulnerabilities, and ethical implications of AI detection tools in the context of preserving academic integrity. Our study synthesises insights from various case studies, newspaper articles, and student testimonies to scrutinise the practical and philosophical challenges associated with AI detection. We argue that the reliance on detection mechanisms is misaligned with the educational landscape, where AI plays an increasingly widespread role. This paper advocates for a strategic shift towards robust assessment methods and educational policies that embrace generative AI usage while ensuring academic integrity and authenticity in assessments.

연구 동기 및 목표

• 현재 고등교육 현장에서 사용되는 생성형 AI 탐지 도구의 효과성과 한계를 검토하는 것.
• 학문적 정당성 유지에 있어 탐지 기반 메커니즘이 지닌 윤리적 및 실무적 취약점을 규명하는 것.
• 생성형 AI로 작성된 작업을 탐지하는 것이 현대 평가 전략으로서 실현 가능하거나 바람직한가에 대한 전제를 도전하는 것.
• 탐지 중심 정책에서 생성형 AI를 책임감 있게 통합하는 평가 설계로의 전환을 제안하는 것.
• 감시 및 징벌적 탐지보다 진정성과 학습을 우선시하는 교육 정책을 주장하는 것.

제안 방법

• 사례 연구, 언론 보도, 학생 증언의 통합적 분석을 통해 생성형 AI 탐지의 실제 영향을 평가하는 것.
• 학문적 정당성을 유지하기 위해 탐지에 의존하는 것의 철학적 및 교육적 모순을 분석하는 것.
• AI 탐지 시스템의 기술적 및 윤리적 결함(예: 오진 비율, 개인정보 문제)을 검토하는 것.
• 생성형 AI를 위협이 아닌 합법적인 학습 도구로 통합하는 대안적 평가 프레임워크를 제안하는 것.
• 감시와 통제보다 투명성, 형평성, 교육적 가치를 우선시하는 기관 정책 개혁을 제안하는 것.
• 비판적 담론 분석 접근법을 활용해 생성형 AI 탐지가 학문적 맥락에서 기반으로 삼는 전제를 해체하는 것.

실험 결과

연구 질문

• RQ1 현재 고등교육 평가에서 생성형 AI 탐지 도구는 AI로 작성된 작업을 얼마나 효과적으로 식별할 수 있는가?
• RQ2 학문적 정당성 유지를 위해 AI 탐지에 의존할 경우 발생하는 윤리적 및 교육적 결과는 무엇인가?
• RQ3 왜 현재의 탐지 모델은 생성형 AI의 역할 변화와 맞지 않는가?
• RQ4 생성형 AI 사용을 수용하면서도 학문적 정당성을 유지할 수 있는 대안적 평가 모델은 무엇인가?
• RQ5 교육 기관은 어떻게 평가를 재설계하여 감시와 탐지보다 진정성과 학습을 우선시할 수 있는가?

주요 결과

• 고등교육 현장에서 사용되는 AI 탐지 도구는 높은 오진 비율을 보이며, 이로 인해 학생들에게 불공정한 학업적 제재가 가해질 수 있다.
• 탐지 도구의 사용은 학생과 교사 간의 신뢰를 해칠 수 있으며, 진정성 있는 학문적 참여를 저해할 수 있다.
• 탐지 메커니즘은 종종 투명성이 없으며, 글쓰기 스타일과 독창성에 대한 오류 있는 전제에 기반한다.
• 이 논문은 생성형 AI 시대에 학문적 정당성을 유지하기 위해 탐지는 지속 가능하거나 윤리적인 해결책이 아니라고 판단한다.
• 생성형 AI를 합법적인 도구로 통합하는 평가 재설계는 더 진정성 있고 형평성 있으며 교육적으로 타당한 결과를 이끈다.
• 기관 정책은 감시와 징벌적 탐지 관행보다 교육적 가치와 학생의 학습을 우선시해야 한다.