[論文レビュー] Automatic Generation of Word Problems for Academic Education via Natural Language Processing (NLP)

Stanley Uros Keller|arXiv (Cornell University)|Sep 27, 2021

Intelligent Tutoring Systems and Adaptive Learning被引用数 6

ひとこと要約

本論文は、文法的に正しく、意味的に整合的で内容的に妥当な多様で文脈豊かな数学的統計の文章問題を自動生成するためのモジュラーナルラル言語処理（NLP）フレームワークを提案する。大規模言語モデル（LLM）を用いて制約生成、衝突検出、一貫性モデリングを統合することで、簡単な問題では最大86％の正答率を達成し、生成速度と正しさの間で調整可能なモジュールを備える。

ABSTRACT

Digital learning platforms enable students to learn on a flexible and individual schedule as well as providing instant feedback mechanisms. The field of STEM education requires students to solve numerous training exercises to grasp underlying concepts. It is apparent that there are restrictions in current online education in terms of exercise diversity and individuality. Many exercises show little variance in structure and content, hindering the adoption of abstraction capabilities by students. This thesis proposes an approach to generate diverse, context rich word problems. In addition to requiring the generated language to be grammatically correct, the nature of word problems implies additional constraints on the validity of contents. The proposed approach is proven to be effective in generating valid word problems for mathematical statistics. The experimental results present a tradeoff between generation time and exercise validity. The system can easily be parametrized to handle this tradeoff according to the requirements of specific use cases.

研究の動機と目的

• オンラインのSTEM学習演習に見られる多様性と個別性の欠如が、学生が核心的概念を抽象化する能力を阻害することに対処する。
• 人による検証が必要な演習問題の生成プロセスのボトルネックを克服し、有効で文脈豊かな文章問題の自動生成を実現する。
• 生成された文章問題が完全性、正しさ、一貫性、曖昧さのない明確性という厳格な妥当性制約を満たしていることを保証する。
• 単に数値を交換するのではなく、構成構造の多様性を持つ演習問題を生成することで、概念的理解を深める。
• 人間が関与する運用と完全自動化の両方をサポートするスケーラブルでモジュラーなシステムを設計する。

提案手法

• 本システムは、内容妥当性を保証するためのモジュラーなパイプライン（制約生成、衝突検出、一貫性モデリング）を採用する。
• 大規模言語モデル（LLM）は、ユーザー定義の演習定義とプロンプトに基づいて文章問題を生成するようにプロンプトされる。
• 制約生成モジュールは、標準偏差などの必須パラメータが含まれていることを保証し、完全性を満たす。
• 衝突検出モジュールは、ルールベースおよび埋め込みベースの手法を用いて数学的不整合（例：負の確率）をチェックする。
• 一貫性は、文単位の埋め込み類似度（コサイン距離）と次文予測（NSP）スコアを用いて強制される。
• システムはモジュールのパrameter設定を可能とし、生成速度と妥当性の間でトレードオフを調整でき、用途に応じた最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 モジュラーナルラル言語処理システムは、数学的に妥当で一貫性があり多様な数学的統計の文章問題を生成できるか？
• RQ2 制約生成と衝突検出の統合は、標準的な言語モデルと比較して内容妥当性をどのように向上させるか？
• RQ3 生成速度と妥当性の間にはどのようなトレードオフがあり、システムの構成設定によって制御可能か？
• RQ4 本システムのモジュラリティは、教育的応用の範囲を広げるためのスケーラビリティと拡張性をどの程度サポートするか？
• RQ5 本システムのプロンプトと構成の設計プロセスが、学生の概念的理解を高める要因となるか？

主な発見

• 衝突検出と一貫性モデリング（コサイン距離＋NSP）を併用した場合、簡単な問題では86％の成功率を達成し、ベースライン設定を著しく上回った。
• 衝突検出と一貫性モデリング（コサイン距離およびNSP）を組み合わせた場合、簡単な問題で86％、中程度の問題で74％、難しい問題で76％の成功率が得られた。
• 一貫性モデリングを除外すると、簡単な問題での成功率は7％に低下し、一貫性が妥当性にとって不可欠であることが示された。
• コンテンツ多様性はコンテンツエントロピー（H）で測定され、全設定で高い水準（4.7～5.4）を維持した。これは、妥当性制約があっても多様性が保たれていることを確認した。
• アブレーションスタディの結果、衝突検出と一貫性モデリングは高妥当性に不可欠であり、完全性のみを強制した場合、成功率は6％に低下した。
• システムは生成時間と妥当性の明確なトレードオフを示し、完全な検証を経た場合、より多くの正しい演習問題が生成されたが、処理に時間がかかった。