[論文レビュー] ChatGPT: The End of Online Exam Integrity?

Teo Sušnjak|arXiv (Cornell University)|Dec 19, 2022

Artificial Intelligence in Healthcare and Education被引用数 357

ひとこと要約

本論文は ChatGPT が高レベルの認知課題を実行し、人間に似たテキストを生成する能力を分析し、オンライン試験の公正性への影響と潜在的な緩和策について論じている。

ABSTRACT

This study evaluated the ability of ChatGPT, a recently developed artificial intelligence (AI) agent, to perform high-level cognitive tasks and produce text that is indistinguishable from human-generated text. This capacity raises concerns about the potential use of ChatGPT as a tool for academic misconduct in online exams. The study found that ChatGPT is capable of exhibiting critical thinking skills and generating highly realistic text with minimal input, making it a potential threat to the integrity of online exams, particularly in tertiary education settings where such exams are becoming more prevalent. Returning to invigilated and oral exams could form part of the solution, while using advanced proctoring techniques and AI-text output detectors may be effective in addressing this issue, they are not likely to be foolproof solutions. Further research is needed to fully understand the implications of large language models like ChatGPT and to devise strategies for combating the risk of cheating using these tools. It is crucial for educators and institutions to be aware of the possibility of ChatGPT being used for cheating and to investigate measures to address it in order to maintain the fairness and validity of online exams for all students.

研究の動機と目的

• 分野を横断して高品質な学部レベルの批判的思考問題を生成・解答する ChatGPT の能力を評価する。
• 普遍的な知的標準を用いて ChatGPT が自らの回答を批判的に評価できるかを評価する。
• 高等教育におけるオンライン試験の公正性への影響を探り、現行の緩和策を評価する。
• 評価の公正性へのリスクに対処するための今後の研究と政策の方向性を提案する。

提案手法

• ChatGPT アカウントを作成し、複数分野の難解な批判的思考問題を生成するよう指示する。
• ChatGPT に自分の質問に対する詳細な回答を提供させ、次にそれらの回答を批判的に評価させる。
• 回答を評価するために普遍的な知的標準（関連性、明晰性、正確さ、精度、深さ、幅、論理性、説得力、独創性）を適用する。
• 教育、機械学習、歴史、マーケティングの各分野における回答を分析して能力と限界を示す。
• オンライン試験への影響と緩和策としての監督の有効性およびAI検出ツールの有効性について論じる。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は学部生向けに、学問分野別で挑戦的な批判的思考問題を生成できるか。
• RQ2 ChatGPT は自分の質問に対して一貫性があり、よく構成された回答を生成できるか。
• RQ3 ChatGPT は自分の回答を批判的に評価し、改善の建設的提案を提供できるか。
• RQ4 ChatGPT の能力がオンライン試験の公正性と現行の緩和策に与える影響は何か。

主な発見

• ChatGPT は学部生向けに学問分野別で挑戦的な批判的思考問題を生成できる。
• ChatGPT は自分の質問に対して詳細で一貫した500語の回答を生成できる。
• ChatGPT は自分の回答を批判的に評価し、長所・短所・改善の提案を挙げることができる。
• 示された能力は高等教育におけるオンライン試験の公正性に潜在的な脅威をもたらす。
• 現行の緩和策（監視付き試験、監督、AI検出）はAI生成の不正行為に対して完全ではない可能性がある。さらなる研究が必要。