[论文解读] An Artificial Intelligence driven Learning Analytics Method to Examine the Collaborative Problem solving Process from a Complex Adaptive Systems Perspective

Fan Ouyang, Weiqi Xu+1 more|arXiv (Cornell University)|Oct 28, 2022

Innovative Teaching and Learning Methods被引用 10

一句话总结

本文提出了一种基于人工智能的学习分析框架，运用复杂适应系统理论分析多模态协作问题解决（CPS）数据。通过整合音频、屏幕录制和概念图与机器学习技术，识别出三种不同的协作模式——以行为为导向（类型1，中等表现）、以沟通-行为协同为特征（类型2，高表现）以及以沟通为导向（类型3，低表现），揭示了动态、适应性和自组织的群体行为。

ABSTRACT

Collaborative problem solving (CPS) enables student groups to complete learning tasks, construct knowledge, and solve problems. Previous research has argued the importance to examine the complexity of CPS, including its multimodality, dynamics, and synergy from the complex adaptive systems perspective. However, there is limited empirical research examining the adaptive and temporal characteristics of CPS which might lead to an oversimplified representation of the real complexity of the CPS process. To further understand the nature of CPS in online interaction settings, this research collected multimodal process and performance data (i.e., verbal audios, computer screen recordings, concept map data) and proposed a three-layered analytical framework that integrated AI algorithms with learning analytics to analyze the regularity of groups collaboration patterns. The results detected three types of collaborative patterns in groups, namely the behaviour-oriented collaborative pattern (Type 1) associated with medium-level performance, the communication - behaviour - synergistic collaborative pattern (Type 2) associated with high-level performance, and the communication-oriented collaborative pattern (Type 3) associated with low-level performance. The research further highlighted the multimodal, dynamic, and synergistic characteristics of groups collaborative patterns to explain the emergence of an adaptive, self-organizing system during the CPS process.

研究动机与目标

• 填补协作问题解决（CPS）过程在动态性、适应性和多模态特性方面的实证研究空白。
• 利用丰富、多模态的数据，研究在线环境中CPS随时间的演变过程。
• 开发一个三层分析框架，整合人工智能与学习分析，以实现对CPS过程的深入分析。
• 识别并描述与不同群体表现水平相关的独特协作模式。
• 通过协同、动态和多模态互动，解释CPS中自组织、适应性系统的出现机制。

提出的方法

• 本研究收集了协作学习会话中的多模态数据，包括口头音频转录、计算机屏幕录制和概念图成果。
• 设计了一个三层分析框架：数据预处理、基于人工智能算法的模式检测，以及协作动态的解释。
• 应用自然语言处理（NLP）和语音分析，从音频数据中提取沟通模式。
• 采用计算机视觉和交互日志技术，分析屏幕录制数据中的行为与认知动作。
• 对概念图进行分析，以评估群体协作中的知识建构与结构复杂性。
• 利用机器学习模型，基于整合的行为、沟通与协同特征，将群体分类为不同的协作模式。

实验结果

研究问题

• RQ1 在在线环境中，协作问题解决过程如何体现为动态、适应性和自组织行为？
• RQ2 CPS过程中浮现了哪些独特的协作模式？它们与群体表现水平有何关联？
• RQ3 多模态数据（音频、屏幕、概念图）在在多大程度上揭示了CPS中的协同作用与复杂适应系统特征？
• RQ4 人工智能驱动的学习分析在多大程度上能够有效建模和分类CPS过程的复杂性？
• RQ5 沟通、行为与知识建构在塑造高绩效与低绩效协作模式方面分别发挥何种作用？

主要发现

• 识别出三种独特的协作模式：以行为为导向（类型1）、以沟通-行为协同为特征（类型2）以及以沟通为导向（类型3）。
• 类型2群体表现出最高绩效水平，其特征是沟通、行为与协同的深度融合。
• 类型1群体表现中等，主要受任务执行驱动，缺乏强有力的协调或知识整合。
• 类型3群体表现较低，其特征是过度沟通，但缺乏有效的行为或认知协调。
• 结果表明，高绩效群体表现出与复杂适应系统一致的自组织、适应性与协同动力学。
• 多模态数据表明，适应性协作的出现并非线性过程，而是沟通、行为与知识建构之间动态互动的结果。