[論文レビュー] Towards Mitigating ChatGPT's Negative Impact on Education: Optimizing Question Design through Bloom's Taxonomy

Saber Elsayed|arXiv (Cornell University)|Mar 31, 2023

Online Learning and Analytics被引用数 4

ひとこと要約

本稿では、生成的AIツール（例：ChatGPT）が回答するプログラミング問題の信頼度を低下させるために、遺伝的最適化を用いた進化的アルゴリズムを提案する。特に、分析・評価・作成といった高階層の認知的スキルを対象とすることで、ChatGPTの平均信頼度を95%から45%まで低下させ、信頼度0%の問題を生成した。これにより、教育者が批判的思考を促進し、AI依存を低減する評価問題を設計できるようになる。

ABSTRACT

The popularity of generative text AI tools in answering questions has led to concerns regarding their potential negative impact on students' academic performance and the challenges that educators face in evaluating student learning. To address these concerns, this paper introduces an evolutionary approach that aims to identify the best set of Bloom's taxonomy keywords to generate questions that these tools have low confidence in answering. The effectiveness of this approach is evaluated through a case study that uses questions from a Data Structures and Representation course being taught at the University of New South Wales in Canberra, Australia. The results demonstrate that the optimization algorithm is able to find keywords from different cognitive levels to create questions that ChatGPT has low confidence in answering. This study is a step forward to offer valuable insights for educators seeking to create more effective questions that promote critical thinking among students.

研究の動機と目的

• 生成的AIツール（例：ChatGPT）が学生の学習や評価の整合性を損なうおそれがあるという懸念に対処すること。特に、AI生成の回答に依存しすぎることによる影響を軽減する。
• 特にプログラミング課程において、AIの回答信頼度を低下させるBloomのタクソノミーのキーワードの特定の組み合わせを同定すること。
• AIの推論能力に挑戦するよう、質問のバリエーションを体系的に進化させるための進化的最適化アプローチを開発すること。
• 教育者がAIの干渉を最小限に抑え、深い学びと批判的思考を促進する評価問題を設計できるように支援すること。
• 最適化された質問に対するAIの回答が、信頼度が低いだけでなく、しばしば誤りまたは不完全であることを検証すること。

提案手法

• Bloomのタクソノミーのキーワードの集合を表す染色体を用いた、遺伝的アルゴリズム（GA）に基づく進化的アルゴリズムを採用する。
• 各染色体を用いて生成的AIツール（例：ChatGPT）により新しい質問のバリエーションを生成し、AIがその質問に回答する際の信頼度スコアを、最小化すべきフィットネス関数として用いる。
• 複数の世代にわたり、選択、交差、突然変異を適用することで、AIの信頼度を最小化するキーワードの組み合わせを進化させる。
• ブルートフォースによる全探索を避けることで、認知的レベルごとのキーワード集合の知的で効率的な進化を可能にする。
• 実際のデータ構造と表現の授業（ニューサウスウェールズ大学キャンベラ校）から得たプログラミング問題を対象に、手法を評価する。
• 最適化された質問に対する回答は、コースのインstructerによって手動で検証され、正しさと完全性を確認することで、AIの限界を露呈させる。

実験結果

リサーチクエスチョン

• RQ1 進化的アルゴリズムは、ChatGPTのプログラミング問題に対する回答信頼度を顕著に低下させるBloomのタクソノミーのキーワードの特定の組み合わせを同定できるか？
• RQ2 このようなキーワードの組み合わせは、生成的AIモデル（例：ChatGPT）の推論能力と回答品質をどの程度挑戦できるか？
• RQ3 最適化されたキーワードセットを用いて生成された質問は、信頼度が低い場合でも、AIの回答が誤りまたは不完全になることがあるか？
• RQ4 このアプローチを用いることで、AI生成の回答に左右されにくく、かつ高階層の思考を促進する評価問題を設計できるか？
• RQ5 分析・評価・作成などの異なる認知的レベル（例：レベル4～6）を組み合わせることで、AIの信頼度低下にどのように寄与するか？

主な発見

• 最適化アルゴリズムにより、テストデータセット全体でChatGPTの平均信頼度が95%から45%まで低下した。
• いくつかの質問について、アルゴリズムはChatGPTの信頼度が0%にまで低下するバリエーションを生成した。これは、AIが明確に回答できない状態を示している。
• 最も効果的なキーワードの組み合わせには、『分析』『評価』『検討』『対比』といった高階層の認知的動詞が含まれており、Bloomのタクソノミーのレベル4～6に属する。
• 手動による検証の結果、最適化された質問に対するAIの回答は、信頼度が高かろうが、しばしば誤り、不完全、または一般的な内容であることが判明した。
• 『分析および設計』や『開発および区別』といった有効なキーワードペアが、プログラミング課題におけるAIの推論能力を顕著に挑戦した。
• 結果として、多様なBloomのタクソノミーのキーワードを戦略的に使用することで、AIベースの回答生成を効果的に遮断でき、評価の妥当性を向上させられることを示した。