[论文解读] External Correlates of Adult Digital Problem-Solving Behavior: Log Data Analysis of a Large-Scale Assessment

Susu Zhang, Tang, Xueying+3 more|arXiv (Cornell University)|Mar 28, 2021

Cognitive Abilities and Testing参考文献 19被引用 5

一句话总结

本研究利用多维尺度变换（MDS）与序列到序列自编码器（Seq2seq）从PIAAC 2012调查中成年人数字问题解决任务的日志数据中提取潜在特征。结果表明，这些基于过程的特征在预测人口统计学与认知特征方面比最终得分更为准确，揭示了与年龄、教育水平及认知能力相关的系统性行为模式。

ABSTRACT

Using the action sequence data (i.e., log data) from the problem-solving in technology-rich environments assessment on the 2012 Programme for the International Assessment of Adult Competencies survey, the current study examines the associations between adult digital problem-solving behavior and several demographic and cognitive variables. Action sequence features extracted using multidimensional scaling (Tang, Wang, He, Liu, & Ying, 2019) and sequence-to-sequence autoencoders (Tang, Wang, Liu, & Ying, 2019) were used to predict test-taker external characteristics. Features extracted from action sequences were consistently found to contain more information on demographic and cognitive characteristics than final scores. Partial least squares analyses further revealed systematic associations between behavioral patterns and demographic/cognitive characteristics.

研究动机与目标

• 探究交互式数字任务中的动作序列特征是否比最终得分更能预测外部特征。
• 比较MDS与Seq2seq特征在捕捉人口统计学与认知特征方面的预测能力。
• 识别哪些测试项目的问题解决行为与特定特征（如年龄或教育水平）的关联性最强。
• 解释动作序列与外部特征之间强关联性的行为模式基础。
• 通过识别交互式题目中具有公平性影响或信息量的行为模式，为评估设计提供建议。

提出的方法

• 从PIAAC 2012《技术丰富环境中的问题解决》（PSTRE）评估的日志数据中提取动作序列。
• 应用MDS将动作序列嵌入低维连续空间，以保留其成对差异。
• 使用Seq2seq自编码器重建原始序列，并提取紧凑的连续潜在表征。
• 将潜在特征维度标准化为K=100，以实现方法与项目间的公平比较。
• 采用偏最小二乘法（PLS）回归，建立提取特征与外部特征之间的关联模型。
• 通过视觉检查PLS成分，识别与特征相关联的可解释行为模式。

实验结果

研究问题

• RQ1 与最终测试得分相比，MDS与Seq2seq特征在预测人口统计学与认知特征方面的表现如何？
• RQ2 PSTRE评估中的哪些交互式项目表现出问题解决行为与外部特征之间的最强关联？
• RQ3 哪些具体的行为模式（如动作序列）解释了动作特征与年龄或教育水平等特征之间的最强关联？
• RQ4 MDS与Seq2seq的潜在特征在保留外部特征信息方面的能力有何差异？
• RQ5 过程数据在多大程度上可为计算机化评估中的项目公平性与设计提供信息支持？

主要发现

• 通过MDS与Seq2seq提取的动作序列特征，其在预测人口统计学与认知特征方面始终优于仅使用最终得分的模型。
• MDS与Seq2seq特征所捕捉的外部特征信息量高于最终得分，在多种特征上均表现出更高的预测准确率。
• 与特征关联性较强的项目表现出独特的行为模式，如特定动作序列或导航策略，可通过PLS成分分析识别。
• 偏最小二乘法分析揭示了行为模式与年龄、教育水平及认知能力等特征之间系统性、非随机的关联。
• 本研究证明，过程数据（尤其是经MDS或Seq2seq转换后）可作为评估公平性与优化数字评估项目设计的有力工具。
• 对PLS成分的视觉检查使研究者能够识别与特定特征相关联的可解释行为模式，但该方法被指出工作量大且可扩展性有限。