[論文レビュー] Survey of Computerized Adaptive Testing: A Machine Learning Perspective

Yan Zhuang, Qi Liu+13 more|arXiv (Cornell University)|Mar 31, 2024

Medical Imaging and Analysis被引用数 5

ひとこと要約

機械学習志向の Computerized Adaptive Testing (CAT) の調査で、認知診断、問題選択、問題バンク構築、テスト制御を概説し、さらにオープンソースのツールキットを提供する。

ABSTRACT

Computerized Adaptive Testing (CAT) offers an efficient and personalized method for assessing examinee proficiency by dynamically adjusting test questions based on individual performance. Compared to traditional, non-personalized testing methods, CAT requires fewer questions and provides more accurate assessments. As a result, CAT has been widely adopted across various fields, including education, healthcare, sports, sociology, and the evaluation of AI models. While traditional methods rely on psychometrics and statistics, the increasing complexity of large-scale testing has spurred the integration of machine learning techniques. This paper aims to provide a machine learning-focused survey on CAT, presenting a fresh perspective on this adaptive testing paradigm. We delve into measurement models, question selection algorithm, bank construction, and test control within CAT, exploring how machine learning can optimize these components. Through an analysis of current methods, strengths, limitations, and challenges, we strive to develop robust, fair, and efficient CAT systems. By bridging psychometric-driven CAT research with machine learning, this survey advocates for a more inclusive and interdisciplinary approach to the future of adaptive testing.

研究の動機と目的

• 心理測定学と機械学習を橋渡しするために、CATに関する機械学習に焦点を当てた調査を導入する。
• 認知診断モデル、選択アルゴリズム、問題バンク構築、テスト制御という CAT のライフサイクルを包含する統一的なフレームワークを提示する。
• 現在の ML ベースの CAT 手法を分析し、それらの長所・制約・課題を検討する。
• 信頼性の高い CAT にとって重要な要因（内容のバランス、公平性、頑健性、探索効率）を強調し、今後の方向性を提案する。
• 迅速な CAT 開発を支援するオープンソースで拡張性のある実装を提供する（EduCAT）。

提案手法

• CATを四つの ML中心の要素からレビューする：Cognitive Diagnosis Model (CDM)、Selection Algorithms、Question Bank Construction、Test Control。
• CDM の出力を用いた能力推定と適応的項目選択を伴う正式な CAT タスクを説明する。
• 従来の（統計的）および現代的な（ RL、メタ学習、サブセット選択）選択アプローチを包含し、主要な方程式と目的を含む。
• CDMsを Latent Trait Models、Diagnostic Classification Models、Deep Learning Models に分類し、代表的な例を示す。
• 能力推定と CAT 効果の評価手法を取り上げ、クロスエントロピーおよび MSE に基づく評価を含む。

実験結果

リサーチクエスチョン

• RQ1 CAT で能力をモデル化し、問題を選択するためにどのような機械学習手法が用いられているか？
• RQ2 認知診断モデル、選択アルゴリズム、問題バンク構築手法が相互作用して CAT の信頼性、公平性、効率性にどのような影響を与えるか？
• RQ3 ML ベースの CAT システムの現状の限界と今後の方向性は何か、オープンソースツールが研究をどのように前進させられるか？

主な発見

• 本調査は CDM、選択、バンク構築、およびテスト制御にわたる CAT の機械学習主導の網羅的レビューを初めて提供する。
• 信頼性の高い CAT に不可欠な要素として、内容のバランス、公平性、頑健性、探索の効率性が、先行レビューで見落とされがちであることを強調している。
• ML 手法（深層学習、RL、メタ学習）が能力診断、データ駆動の問題選択、および自動化されたバンク構築に有望であると報告している。
• 拡張性のあるオープンソースライブラリ（EduCAT）が研究者の CAT システムの開発と比較を支援する目的でオープンソース化されている。
• 本論文は CAT の研究を四部に分類し、実世界の展開における露出制御や頑健性といった実用的な考慮事項を議論している。
• 古典的な心理測定の基礎と現代の ML 手法を結びつけ、統合的かつ学際的な CAT 研究の指針を提供している。