[論文レビュー] Contra generative AI detection in higher education assessments

Cesare Giulio Ardito|arXiv (Cornell University)|Dec 8, 2023

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

本論文は、高等教育における生成的AI検出ツールの使用を批判し、それらが非効果的で、倫理的に問題があり、現代の教育的現実と整合しないと主張する。検出手法の代わりに、AIの使用を歓迎しつつも学術的誠実性と真正性を保つ教育的根拠に基づいた評価の再設計を提言する。

ABSTRACT

This paper presents a critical analysis of generative Artificial Intelligence (AI) detection tools in higher education assessments. The rapid advancement and widespread adoption of generative AI, particularly in education, necessitates a reevaluation of traditional academic integrity mechanisms. We explore the effectiveness, vulnerabilities, and ethical implications of AI detection tools in the context of preserving academic integrity. Our study synthesises insights from various case studies, newspaper articles, and student testimonies to scrutinise the practical and philosophical challenges associated with AI detection. We argue that the reliance on detection mechanisms is misaligned with the educational landscape, where AI plays an increasingly widespread role. This paper advocates for a strategic shift towards robust assessment methods and educational policies that embrace generative AI usage while ensuring academic integrity and authenticity in assessments.

研究の動機と目的

• 現在の生成的AI検出ツールが高等教育の文脈でどれほど効果的か、またその限界を検討すること。
• 学術的誠実性の維持に向けた検出メカニズムの使用に伴う倫理的・実務的脆弱性を特定すること。
• AI生成の作業を検出することが現代の評価において現実的で望ましい戦略であるという仮定に疑問を呈すること。
• 検出中心のポリシーから、生成的AIを責任ある形で統合する評価設計への移行を提言すること。
• 監視や懲罰的検出を優先するのではなく、真正性と学びを重視する教育政策を提唱すること。

提案手法

• 事例研究、メディア報道、学生の証言の知見を統合し、AI検出の現実世界への影響を評価する。
• 検出に依存することで学術的誠実性を維持するという考え方が、哲学的・教育的観点からどのような矛盾を含むかを分析する。
• AI検出システムに内在する技術的・倫理的欠陥（誤検出のリスク、プライバシー懸念など）を検討する。
• 生成的AIを脅威ではなく正当な学習ツールとして統合する代替評価フレームワークを提言する。
• 監視や制御を優先するのではなく、透明性、公平性、教育的価値を重視する制度的政策改正を提言する。
• 生成的AI検出の背後にある仮定を解体するため、批判的ディス course 分析のアプローチを用いる。

実験結果

リサーチクエスチョン

• RQ1 現在の生成的AI検出ツールは、高等教育の評価におけるAI生成作業をどれほど効果的に特定できるか？
• RQ2 学術的誠実性の維持に向けたAI検出の使用が、倫理的・教育的観点からどのような影響を及ぼすか？
• RQ3 なぜ現在の検出パラダイムは、生成的AIが教育分野で果たす役割の変化と整合しないのか？
• RQ4 学術的誠実性を保ちつつ生成的AIの使用を受容する代替評価モデルは何か？
• RQ5 教育機関はどのように評価を再設計することで、監視や検出よりも真正性と学びの価値を重視できるか？

主な発見

• 高等教育におけるAI検出ツールは、誤検出率が高く、学生に不正な学業的処罰をもたらすおそれがある。
• 検出ツールの使用は、学生と教員の間の信頼を損ない、真正な学術的関与を妨げる可能性がある。
• 検出メカニズムはしばしば透明性に欠け、文章スタイルや独自性に関する誤った仮定に基づいている。
• 本論文は、生成的AIの時代において、検出が持続可能で倫理的な学術的誠実性の維持策ではないと結論づける。
• AIを正当なツールとして統合する評価の再設計は、より真正性があり、公平で、教育的根拠に裏付けられた結果をもたらす。
• 制度的ポリシーは、監視や懲罰的検出の実施を優先するのではなく、教育的価値と学生の学びを最優先すべきである。