[論文レビュー] Collaborative and AI-aided Exam Question Generation using Wikidata in Education

Philipp Scharpf, Moritz Schubotz+3 more|arXiv (Cornell University)|Jan 1, 2022

Wikis in Education and Collaboration被引用数 5

ひとこと要約

本稿では、物理学の試験問題の共同作成・スケーラブルで自動化された生成を可能にする多言語対応でAIを活用したフレームワーク、PhysWikiQuizを提示する。Wikidataを活用し、数式と変数を取得し、数学的エンティティリンクを適用し、計算代数システム（CAS）を用いて検証することで、1つの数式概念あたり最大300問の独自問題を生成。エンド・ツー・エンドの問題生成と補正において50%の成功率を達成し、説明テキストの正確性は27%であった。

ABSTRACT

Since the COVID-19 outbreak, the use of digital learning or education platforms has significantly increased. Teachers now digitally distribute homework and provide exercise questions. In both cases, teachers need to continuously develop novel and individual questions. This process can be very time-consuming and should be facilitated and accelerated both through exchange with other teachers and by using Artificial Intelligence (AI) capabilities. To address this need, we propose a multilingual Wikimedia framework that allows for collaborative worldwide teacher knowledge engineering and subsequent AI-aided question generation, test, and correction. As a proof of concept, we present >>PhysWikiQuiz<<, a physics question generation and test engine. Our system (hosted by Wikimedia at https://physwikiquiz.wmflabs.org) retrieves physics knowledge from the open community-curated database Wikidata. It can generate questions in different variations and verify answer values and units using a Computer Algebra System (CAS). We evaluate the performance on a public benchmark dataset at each stage of the system workflow. For an average formula with three variables, the system can generate and correct up to 300 questions for individual students based on a single formula concept name as input by the teacher.

研究の動機と目的

• デジタル教育環境において、多様な生徒に合わせた個別化された試験問題を手作業で作成する作業が時間的にかかるという課題に対処すること。
• 教育者間で共同して行う多言語対応の知識工学を可能にする。Wikidataを共有で利用可能なオープンな意味的知識ベースとして活用すること。
• AIを活用したシステムを構築し、Wikidataの数式概念を用いて、物理学の問題をスケーラブルに自動生成・補正・説明すること。
• 現在の単一メンテナの問題バンクに比べ、概念の可用性が限られているという課題を改善し、スケーラビリティとカバー範囲を向上させること。

提案手法

• 概念名を入力として用い、Wikidataから物理学の数式、変数、単位を取得する。
• 数学的エンティティリンクを適用し、異なる表記法や記号を用いた等価な数式表現を特定する。
• 計算代数システム（CAS）を用いて数式を再配置し、各変数について解き、識別子にランダムな値を割り当てる。
• 学生向けの問題を生成し、変数名、記号、単位、計算経路を含める。
• CASが計算した解と照合することで、学生の回答の数値的値と単位の両方を検証する。
• 外部教育プラットフォームへの統合を可能にするAPIを提供し、多言語出力をサポートする。

実験結果

リサーチクエスチョン

• RQ1 AIを活用した問題生成の最先端のシステムは何か。それらの欠陥はどのように是正できるか。
• RQ2 Wikidataからの問題生成において、最も効果的な情報検索手法とデータベースは何か。
• RQ3 本フレームワークを用いたエンド・ツー・エンドの問題生成、補正、説明で達成可能なパフォーマンスは何か。
• RQ4 各システムモジュールが全体のパフォーマンスに与える寄与度は何か。
• RQ5 実装段階で生じる課題は何か。それらはどのように緩和できるか。

主な発見

• 本システムは、1つの数式概念あたり最大300問の独自問題を生成・補正できることを実証し、高いスケーラビリティを示した。
• PhysWikiQuizはベンチマークの物理学的概念の99%（469/475）をカバーしており、『physQuiz』（2%）や『Mr Watts Physics』（8%）といった競合他社を大きく上回った。
• 数式構造、識別子の可用性、またはWikidataのデータ品質に起因する問題のため、50%の数式項目しか完全に問題生成に処理できない。
• 説明テキスト生成は27%のケースで成功したが、そのうち39%は記号・値・単位の置換後に意味的に正しいものであった。
• 主なボトル neck は外部依存性に起因しており、特にCAS（Sympy）と翻訳ツール（LaCASt）が影響を及ぼしており、Wikidataアイテムの品質に一貫性が欠けることが要因である。
• ユーザーのフィードバックとWikidataにおける改善済みのデータ品質ガイドラインの導入により、システムのパフォーマンスとカバー範囲が著しく向上すると予想される。