[論文レビュー] KernSmoothIRT: An R Package for Kernel Smoothing in Item Response Theory

Angelo Mazza, Antonio Punzo+1 more|arXiv (Cornell University)|Nov 6, 2012

Psychometric Methodologies and Testing参考文献 32被引用数 26

ひとこと要約

本稿では、カーネルスムージングを用いて項目反応理論（IRT）の選択肢特性曲線（OCC）を非パラメトリックに推定するための KernSmoothIRT Rパッケージを紹介する。この手法により、仮定に依存しない柔軟なモデル化が可能となり、項目反応の可視化および分析ツール（OCCプロット、期待項目得点（EIS）、四面体表示など）を提供し、テスト項目の評価および差分項目機能（DIF）の検出が可能となる。実データを用いた複数の選択肢式および順序尺度式のデータセットへの応用において、良好な実証的性能が示された。

ABSTRACT

Item response theory (IRT) models are a class of statistical models used to describe the response behaviors of individuals to a set of items having a certain number of options. They are adopted by researchers in social science, particularly in the analysis of performance or attitudinal data, in psychology, education, medicine, marketing and other fields where the aim is to measure latent constructs. Most IRT analyses use parametric models that rely on assumptions that often are not satisfied. In such cases, a nonparametric approach might be preferable; nevertheless, there are not many software applications allowing to use that. To address this gap, this paper presents the R package KernSmoothIRT. It implements kernel smoothing for the estimation of option characteristic curves, and adds several plotting and analytical tools to evaluate the whole test/questionnaire, the items, and the subjects. In order to show the package's capabilities, two real datasets are used, one employing multiple-choice responses, and the other scaled responses.

研究の動機と目的

• パラメトリックIRTモデルが強い仮定に依存するという限界を是正するため、仮定に依存しない非パラメトリックな代替手法を提供すること。
• 研究者が特定のパラメトリック形式を仮定せずに項目反応曲線を推定できる、使いやすいRパッケージの開発。
• 項目のパフォーマンスとテスト構造の評価に役立てる包括的な可視化および診断ツール（OCC、EIS、四面体プロットなど）の提供。
• 非パラメトリックスムージングを用いて、性別などのサブグループ間での応答パターンを比較することで、差分項目機能（DIF）の検出を支援すること。
• 実世界のデータセット（複数選択式テストおよびHIV関連の態度に関する順序尺度アンケート）を用いて、パッケージの実用性を示すこと。

提案手法

• 観測された項目反応データに直接カーネルスムージングを適用し、パラメトリック形式を仮定しない非パラメトリックな選択肢特性曲線（OCC）を推定する。
• バイアスと分散のバランスをとるためのバンド幅選択手順を用い、信頼性の高い曲線推定を実現する。
• ksIRT関数の'format'引数を介して、複数の項目形式（複数選択式および順序尺度項目）をサポートする。
• 'miss'オプションにより欠損データを処理し、不完全なケースを除外するか、代替の補完戦略を適用可能にする。
• 診断ツールとして、潜在的特徴量の範囲で項目のパフォーマンスを評価するための期待項目得点（EIS）曲線、および順序付き選択肢における応答確率の進行を可視化する四面体プロットを提供する。
• 差分項目機能（DIF）は、ksIRT関数の'groups'引数を用いて、サブグループ（例：性別）間でのスムージングされた応答パターンを比較することで評価する。

実験結果

リサーチクエスチョン

• RQ1 分布の仮定が破られる状況において、カーネルスムージングがパラメトリックIRTモデルの信頼性の高い非パラメトリック代替手段として機能するか。
• RQ2 推定された選択肢特性曲線（OCC）は、さまざまな項目形式において真の応答行動をどれほど適切に反映しているか。
• RQ3 EISや四面体プロットなどのパッケージの可視化ツールは、問題のある項目や優れたパフォーマンスを示す項目を特定するのにどの程度有効か。
• RQ4 パラメトリックモデルの仮定に依存せずに、DIFを効果的に検出できるか。
• RQ5 実世界のデータセットにおいて、非パラメトリック手法のパフォーマンスは、従来のパラメトリックIRTモデルと比較してどの程度優れているか。

主な発見

• パッケージは、複数選択式および順序尺度項目の両方についてOCCを正常に推定し、潜在的特徴量が高くなるにつれて応答確率が滑らかで単調に増加する傾向を示した。これは期待通りの結果であった。
• HIVデータセットの項目9における期待項目得点（EIS）曲線は、総テスト得点の全範囲にわたり一貫した単調増加を示し、優れた項目パフォーマンスを示していた。
• 項目9の四面体プロットは、選択肢1から選択肢4への滑らかな遷移を確認でき、項目の単一次元的かつ順序付けられた応答パターンが視覚的に妥当であることを裏付けた。
• 性別によるDIF分析では、男性と女性の間で応答パターンの顕著な差が認められず、重なった期待得点曲線と密度プロットによって示された。
• 非パラメトリック手法は、欠損データを不完全なケースを除外することで効果的に処理し（除外後n=3473）、モデルの安定性と解釈可能性を維持した。
• パッケージは実データセットにおいて実用的であることが示され、研究者が仮定に依存しない柔軟な代替手段としてパラメトリックIRTモデルを使用できるだけでなく、包括的な診断出力を提供した。