[論文レビュー] Latent Feature Extraction for Process Data via Multidimensional Scaling

Xueying Tang, Zhi Wang+3 more|arXiv (Cornell University)|Apr 22, 2019

Face and Expression Recognition参考文献 15被引用数 9

ひとこと要約

本稿では、コンピュータベースの評価における応答プロセスから潜在的特徴を抽出するための多次元尺度構成（MDS）に基づく手法を提案する。行動パターンを捉えるために、アクションシーケンスを高次元データとして扱う。この手法は、従来の二値応答モデルに比べ、リテラシーおよびナンバーシップスコアの予測性能が優れており、少ない項目数でもプロセスデータが予測精度を向上させることを示している。

ABSTRACT

Computer-based interactive items have become prevalent in recent educational assessments. In such items, the entire human-computer interactive process is recorded in a log file and is known as the response process. This paper aims at extracting useful information from response processes. In particular, we consider an exploratory latent variable analysis for process data. Latent variables are extracted through a multidimensional scaling framework and can be empirically proved to contain more information than classic binary responses in terms of out-of-sample prediction of many variables.

研究の動機と目的

• コンピュータベースの評価における複雑で非標準的な応答プロセスから潜在変数を抽出する汎用的で探索的な手法を開発すること。
• ログデータにおける長さが可変でカテゴリカルなアクションシーケンスを処理できない従来のモデルの限界に対処すること。
• プロセスデータが結果変数の予測に、二値の正誤応答よりもより多くの情報を含んでいることを実証すること。
• 事前の認知モデルや項目特異の要約に依存せずに、スケーラブルで項目に依存しない応答プロセス分析を可能にすること。
• 応答シーケンスからのMDS由来の特徴を統合することで、リテラシーおよびナンバーシップスコアの予測を向上させること。

提案手法

• 応答プロセスをペアワイズの類似度に基づいて、低次元のユークリッド空間に埋め込むために多次元尺度構成（MDS）を用いる。
• 類似度測定（例：レーベンシュタイン距離または最適な記号アラインメント）を用いて、応答プロセス間の差異を定量化する。
• MDS座標から最初の20個の主成分を抽出し、行動パターンを表す潜在的特徴とする。
• これらの特徴を二値の項目結果と組み合わせて線形予測子に統合し、スコア予測に用いる。
• 前方AIC選択を用いて最も情報の多い項目を同定し、過学習を防ぐためにL2正則化を適用する。
• テストセットを用いて手法を検証し、予測性能をオフ・サンプルR²（OSR²）で評価する。

実験結果

リサーチクエスチョン

• RQ1 二値応答のみに比べ、応答プロセスから抽出した潜在的特徴が、リテラシーおよびナンバーシップスコアの予測を改善できるか？
• RQ2 一部の項目のみが利用可能な状況で、プロセスデータを含めると予測精度にどのような影響を与えるか？
• RQ3 誤答の場合に特に、応答プロセスが二値の結果よりも多くの情報を含んでいるか？
• RQ4 MDSに基づく特徴抽出は、教育的評価におけるプロセスデータ分析のための汎用的で項目に依存しない手法として機能できるか？
• RQ5 人種的・文化的背景の違いが、抽出されたMDS特徴にどのように反映されるか？

主な発見

• 20個のMDS由来の特徴を用いたプロセスモデルは、二値応答のみを用いたベースラインモデルに比べ、リテラシーおよびナンバーシップスコアの両方の予測において顕著に優れていた。
• 5つの項目のみで使用した場合、プロセスモデルは全14項目を使用したベースラインモデルと同等のOSR²を達成した。
• リテラシーの予測において、予測性能の向上がナンバーシップよりも顕著に見られた。これは、プロセスデータがリテラシー関連の能力をよりよく反映している可能性を示唆している。
• 誤答ではしばしばより豊かなアクションシーケンスが観察され、プロセスモデルはこの追加情報を捉えており、誤答の予測精度が向上した。
• MDSに基づく特徴抽出手法は、多様なデモグラフィックグループにわたり強く、項目構造や認知モデルに関する事前知識を必要としなかった。
• この手法は、従来の応答形式を超えたプロセスデータの有効性を裏付ける強力なオフ・サンプル予測性能を示した。