[論文レビュー] External Correlates of Adult Digital Problem-Solving Behavior: Log Data Analysis of a Large-Scale Assessment

Susu Zhang, Tang, Xueying+3 more|arXiv (Cornell University)|Mar 28, 2021

Cognitive Abilities and Testing参考文献 19被引用数 5

ひとこと要約

本研究では、PIAAC 2012調査における成人のデジタル問題解決タスクのログデータから、多次元尺度構成法（MDS）および系列対系列オートエンコーダー（Seq2seq）を用いて潜在的特徴を抽出した。これらのプロセス由来の特徴量は、最終得点よりも、年齢、教育水準、認知能力といった人口統計的・認知的特徴をより正確に予測でき、年齢、教育水準、認知能力と関連する一貫した行動パターンを明らかにした。

ABSTRACT

Using the action sequence data (i.e., log data) from the problem-solving in technology-rich environments assessment on the 2012 Programme for the International Assessment of Adult Competencies survey, the current study examines the associations between adult digital problem-solving behavior and several demographic and cognitive variables. Action sequence features extracted using multidimensional scaling (Tang, Wang, He, Liu, & Ying, 2019) and sequence-to-sequence autoencoders (Tang, Wang, Liu, & Ying, 2019) were used to predict test-taker external characteristics. Features extracted from action sequences were consistently found to contain more information on demographic and cognitive characteristics than final scores. Partial least squares analyses further revealed systematic associations between behavioral patterns and demographic/cognitive characteristics.

研究の動機と目的

• インタラクティブなデジタルタスクからの行動順序特徴量が、最終得点よりも外部的特徴をよりよく予測できるかどうかを調査すること。
• MDSおよびSeq2seq特徴量の、人口統計的・認知的特徴を捉える予測力の違いを比較すること。
• 特定の特徴（例：年齢や教育水準）と強く相関する行動パターンを示すテスト項目を特定すること。
• 行動パターンと外部的特徴との強い関連性の背後にある行動的メカニズムを解釈すること。
• インタラクティブ項目における公平性に影響を及ぼすか、情報の得られる行動パターンを特定することで、評価設計に貢献すること。

提案手法

• PIAAC 2012の問題解決能力評価（PSTRE）のログデータから行動順序を抽出した。
• MDSを用いて、行動順序の対比較距離を保持するように、低次元連続空間に埋め込んだ。
• Seq2seqオートエンコーダーを用いて、元の順序を再構築し、コンactな潜在表現を抽出した。
• 異なる手法および項目間での公平な比較のため、潜在特徴量の次元をK=100に標準化した。
• 抽出された特徴量と外部的特徴の関連性をモデル化するために、部分最小二乗回帰（PLS）を用いた。
• PLSの成分を視覚的に検討し、特徴量と関連する解釈可能な行動パターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 MDSおよびSeq2seq特徴量は、最終テスト得点と比較して、人口統計的・認知的特徴を予測する上でどの程度優れているか。
• RQ2 PSTRE評価におけるどのインタラクティブ項目が、問題解決行動と外部的特徴の間で最も強い関連性を示しているか。
• RQ3 特定の行動パターン（例：行動順序）は、年齢や教育水準といった特徴と強い関連性を示す理由をどのように説明できるか。
• RQ4 MDSおよびSeq2seqから得られる潜在特徴量は、外部的特徴に関する情報をどの程度効果的に保持しているか。
• RQ5 プロセスデータは、コンピュータベースの評価における項目の公平性と設計にどの程度貢献できるか。

主な発見

• MDSおよびSeq2seqで抽出された行動順序特徴量は、最終得点のみに依存する場合と比較して、人口統計的・認知的特徴を一貫してより正確に予測した。
• MDSおよびSeq2seq特徴量は、最終得点よりも外部的特徴に関する情報をより多く捉えており、複数の特徴において高い予測精度を示した。
• 外部的特徴と強い関連性を示す項目では、特定の行動順序やナビゲーション戦略といった明確な行動パターンが観察され、PLS成分分析によって同定された。
• 部分最小二乗回帰分析により、年齢、教育水準、認知能力といった特徴と行動パターンとの間には体系的でランダムでない関連性が存在することが明らかになった。
• 本研究では、MDSやSeq2seqによって変換されたプロセスデータが、デジタル評価における公平性の評価や項目設計の支援に強力なツールとして機能できることを示した。
• PLS成分の視覚的検討により、特定の特徴と関連する解釈可能な行動パターンを同定できたが、この手法は作業が煩雑でスケーラビリティに制限があると指摘された。