[論文レビュー] Knowledge Spaces and Learning Spaces

Jean‐Paul Doignon, Jean‐Claude Falmagne|arXiv (Cornell University)|Nov 20, 2015

Online Learning and Analytics被引用数 6

ひとこと要約

本稿では、学習空間理論（LST）における応用を伴う知識空間理論（KST）を提示する。KSTは、習得済みの概念の集合として学生の知識を組み合わせ的フレームワークでモデル化する。適応的でアイテム単位の評価を可能にし、確率的マルコフ過程を用いて学習の準備状態を予測する。実世界での妥当性は、ALEKSシステムによる検証がなされ、実装応用において授業離脱率を最大50％まで低減した。

ABSTRACT

How to design automated procedures which (i) accurately assess the knowledge of a student, and (ii) efficiently provide advices for further study? To produce well-founded answers, Knowledge Space Theory relies on a combinatorial viewpoint on the assessment of knowledge, and thus departs from common, numerical evaluation. Its assessment procedures fundamentally differ from other current ones (such as those of S.A.T. and A.C.T.). They are adaptative (taking into account the possible correctness of previous answers from the student) and they produce an outcome which is far more informative than a crude numerical mark. This chapter recapitulates the main concepts underlying Knowledge Space Theory and its special case, Learning Space Theory. We begin by describing the combinatorial core of the theory, in the form of two basic axioms and the main ensuing results (most of which we give without proofs). In practical applications, learning spaces are huge combinatorial structures which may be difficult to manage. We outline methods providing efficient and comprehensive summaries of such large structures. We then describe the probabilistic part of the theory, especially the Markovian type processes which are instrumental in uncovering the knowledge states of individuals. In the guise of the ALEKS system, which includes a teaching component, these methods have been used by millions of students in schools and colleges, and by home schooled students. We summarize some of the results of these applications.

研究の動機と目的

• 標準化テストのスコア化にとどまらない、非数値的で組み合わせ的フレームワークを用いて学生の知識を評価すること。
• 心理測定モデルの限界に対処すること。特に、例えばSATスコアが10ポイント刻みで200〜800の粗いカテゴリーに還元されるようなもの。
• 知識が体系的で整合性のある知識状態の集合として表現される理論を設計し、習得状態の正確な診断を可能にすること。
• 最小限の質問で、確率的マルコフ過程を用いて個々の知識状態を特定する、適応的で効率的な評価を可能にすること。
• 特にALEKSを通じて、実世界の教育システムに理論を応用し、学習成果の向上と適正な配置の精度向上を図ること。

提案手法

• 知識を「知識構造」としてモデル化し、結合について閉じており、順序付けられた階層的構造を持つ。これは「学習空間」として知られ、アンティマトリッドや凸幾何学の特別なケースである。
• 「フリンジ定理」を用いて、学生の現在の知識状態に基づき、次に習得可能となる項目を予測する。
• 確率的知識構造とマルコフ過程を用い、正答の確率をモデル化し、評価中における知識状態推定値を改善する。
• 大規模な学習空間（数百万の状態を含む）を効率的に要約・管理するための効率的な組み合わせ的要約（例：基底、閉包系）を用いる。
• 大量のデータマイニングと専門家による検証を通じて、分野特化型の学習空間を構築する。例えば、最大650項目を含む「初等代数」分野での応用。
• ALEKSシステムを用いて理論を実装する：適応的評価、リアルタイムでの知識状態推定、パーソナライズされた学習パスの提供。

実験結果

リサーチクエスチョン

• RQ1 学生の知識をスカラーのテストスコアではなく、習得済み概念の組み合わせ的構造としてどのようにモデル化できるか？
• RQ2 どのような公理的条件が、適応的で効率的な評価および学習パス予測を可能にする知識構造を保証するか？
• RQ3 数百万の状態を含む大規模な学習空間を、実用的用途に適した方法で要約・管理するにはどうすればよいか？
• RQ4 確率的マルコフ過程が、反応パターンから学生の知識状態をどれほど正確に推定できるか？
• RQ5 KSTを実際の教育現場に応用することで、学習成果にどの程度の測定可能な改善が得られるか？

主な発見

• KSTに基づくALEKSシステムは、初等代数のような分野で25〜35問の評価で、学生の知識状態を正確に特定できた。
• 2006年から2008年の間に、大学レベルの数学課程（BusCalc、Calc、CalcExp）において、授業離脱率が最大50％まで低下した。また、より高度なコースへの移行が顕著に増加した。
• 「フリンジ定理」は、学生が次に習得可能となる項目を予測する形式的根拠を提供し、効果的でパーソナライズされた学習パスを実現する。
• 学習空間は数学的にアンティマトリッドおよび凸幾何学と同等であり、順序付けられた整合性のある状態遷移を保証する。
• 専門家の入力と大規模な評価データを統合することで、スケーラブルかつデータ駆動型の学習空間構築が可能であり、複数の分野で検証された。
• ALEKSシステムは、学校、大学、家庭学習の分野で何百万人もの学生が利用しており、実用的応用性と長期的インパクトの両方を示している。