[論文レビュー] Assessing the Performance of Diagnostic Classification Models in Small Sample Contexts with Different Estimation Methods

Motonori Oka, Kensuke Okada|arXiv (Cornell University)|Apr 22, 2021

Statistical Methods and Bayesian Inference参考文献 24被引用数 6

ひとこと要約

本研究では、最大尤度（ML）、ベイズ推定、およびノンパrametric推定法を用いた包括的なシミュレーション設計により、小標本状況下における診断分類モデル（DCMs）の性能を評価した。結果として、ベイズ推定は、単純なDCMではわずかに高い被験者分類精度を示し、MLに比べてより安定した項目パラメータの回復を示したが、特に小標本下においても同様の課題がMLと同様に存在する。

ABSTRACT

Fueled by the call for formative assessments, diagnostic classification models (DCMs) have recently gained popularity in psychometrics. Despite their potential for providing diagnostic information that aids in classroom instruction and students' learning, empirical applications of DCMs to classroom assessments have been highly limited. This is partly because how DCMs with different estimation methods perform in small sample contexts is not yet well-explored. Hence, this study aims to investigate the performance of respondent classification and item parameter estimation with a comprehensive simulation design that resembles classroom assessments using different estimation methods. The key findings are the following: (1) although the marked difference in respondent classification accuracy was not observed among the maximum likelihood (ML), Bayesian, and nonparametric methods, the Bayesian method provided slightly more accurate respondent classification in parsimonious DCMs than the ML method, and in complex DCMs, the ML method yielded the slightly better result than the Bayesian method; (2) while item parameter recovery was poor in both Bayesian and ML methods, the Bayesian method exhibited unstable slip values owing to the multimodality of their posteriors under complex DCMs, and the ML method produced irregular estimates that appear to be well-estimated due to a boundary problem under parsimonious DCMs.

研究の動機と目的

• 教室評価に一般的な小標本状況下における診断分類モデル（DCMs）の性能を評価すること。
• 最大尤度（ML）、ベイズ、ノンパラメトリック推定法の間で、被験者分類の正確性および項目パラメータ推定の正確性を比較すること。
• モデルの複雑さ（単純なDCM対複雑なDCM）、標本サイズ（20–40）、および項目数が推定性能に与える影響を調査すること。
• 限られたデータを伴う現実世界の教室環境におけるDCMの実用的応用に関する実用的助言を特定すること。
• 異なる推定法およびモデルタイプ下での項目パラメータ（抜け落ち確率と推測確率）の安定性とバイアスを検討すること。

提案手法

• 本研究では、DINA、DINO、RRUM、CRUM、LCDMの5つのDCMを用いた包括的なシミュレーション研究を実施した。各モデルは、それぞれの真のモデルから生成された。
• シミュレーションでは、標本サイズ（20および40）、項目数（10–30）、および属性数（3–5）を変化させた条件でデータを生成した。
• 推定には3つの手法を用いた：最大尤度（ML）、期待後部確率（EAP）推定を用いたベイズ推定、およびノンパラメトリック推定。
• モデル適合度およびパラメータ回復は、分類精度、平均二乗誤差（RMSE）、および推定された項目パラメータ（抜け落ち確率と推測確率）のバイアスを用いて評価した。
• すべてのシミュレーションでQ行列は正しく指定されたため、推定法および標本サイズの影響を分離して評価できた。
• 本研究では、被験者分類の正確性および項目パラメータ回復の両方を評価し、特に小標本下での挙動に注目した。

実験結果

リサーチクエスチョン

• RQ1 小標本状況下で、ML、ベイズ、ノンパラメトリック推定法は、被験者を属性習得プロファイルに分類する際にどのように比較されるか？
• RQ2 標本サイズ（20–40）は、DCMにおける被験者分類の正確性および項目パラメータ推定にどのように影響するか？
• RQ3 小標本状況下で、単純なDCMと複雑なDCMの間で性能にどのような差が生じるか？
• RQ4 MLおよびベイズ推定下で、小標本状況下における推定された抜け落ち確率および推測確率パラメータの安定性とバイアスはそれぞれいかほどか？
• RQ5 ML推定はどのような条件下で境界問題を示し、ベイズ推定は項目パラメータの多峰性をどのように処理するか？

主な発見

• ベイズ推定は、単純なDCMではMLに比べてわずかに高い被験者分類精度を示したが、複雑なDCMではMLがわずかに優れた性能を示した。
• 全体として項目パラメータの回復は不十分であり、MLおよびベイズ両手法が小標本（N=20, 40）下で抜け落ち確率および推測確率パラメータのRMSEが高かった。
• ML推定は境界問題を示し、DINAおよびDINOモデルでは抜け落ち確率および推測確率パラメータが0.0001に収束し、良好な適合の誤った印象を与えた。
• ベイズ推定は、複雑なDCM下でCRUMおよびLCDMの抜け落ち確率パラメータに対して多峰性の事後分布を生成し、パラメータ回復の不安定性を示した。
• 項目数の増加は、MLおよびベイズ両手法でバイアスとRMSEを低減させ、より長い評価が推定精度を向上させることを示唆した。
• 限界が存在するが、分類の安定性と事前知識の組み込みが可能であるため、ベイズ推定は小標本の教室応用に対して推奨される。