[논문 리뷰] An Artificial Intelligence driven Learning Analytics Method to Examine the Collaborative Problem solving Process from a Complex Adaptive Systems Perspective

Fan Ouyang, Weiqi Xu외 1명|arXiv (Cornell University)|2022. 10. 28.

Innovative Teaching and Learning Methods인용 수 10

한 줄 요약

이 논문은 복합 적응 시스템 이론을 적용하여 다중 모odal 협동 문제 해결(CPS) 데이터를 분석하는 인공지능 기반 학습 분석 프레임워크를 제안한다. 음성, 화면 기록, 개념도를 기계 학습과 융합함으로써, 행동 중심(유형 1, 중간 성과), 의사소통-행동 상호보완적(유형 2, 높은 성과), 의사소통 중심(유형 3, 낮은 성과)이라는 세 가지의 별개의 협동 패턴을 규명하여, 동적이고 적응적이며 자율적으로 조직화되는 그룹 행동을 드러낸다.

ABSTRACT

Collaborative problem solving (CPS) enables student groups to complete learning tasks, construct knowledge, and solve problems. Previous research has argued the importance to examine the complexity of CPS, including its multimodality, dynamics, and synergy from the complex adaptive systems perspective. However, there is limited empirical research examining the adaptive and temporal characteristics of CPS which might lead to an oversimplified representation of the real complexity of the CPS process. To further understand the nature of CPS in online interaction settings, this research collected multimodal process and performance data (i.e., verbal audios, computer screen recordings, concept map data) and proposed a three-layered analytical framework that integrated AI algorithms with learning analytics to analyze the regularity of groups collaboration patterns. The results detected three types of collaborative patterns in groups, namely the behaviour-oriented collaborative pattern (Type 1) associated with medium-level performance, the communication - behaviour - synergistic collaborative pattern (Type 2) associated with high-level performance, and the communication-oriented collaborative pattern (Type 3) associated with low-level performance. The research further highlighted the multimodal, dynamic, and synergistic characteristics of groups collaborative patterns to explain the emergence of an adaptive, self-organizing system during the CPS process.

연구 동기 및 목표

• 협동 문제 해결(CPS) 과정의 동적이고 적응적이며 다중 모달 성격에 대한 경험적 연구의 격차를 보완하기 위해.
• 풍부한 다중 모달 데이터를 활용하여 온라인 환경에서 CPS가 시간에 따라 어떻게 변화하는지 분석하기 위해.
• 인공지능과 학습 분석을 융합한 깊이 있는 CPS 과정 분석을 위한 삼중층 분석 프레임워크를 개발하기 위해.
• 다양한 수준의 그룹 성과와 관련된 별개의 협동 패턴을 식별하고 특성화하기 위해.
• 협동 상호작용, 행동, 지식 구성 간의 상호보완적이고 동적이고 다중 모달적인 상호작용을 통해 자율적으로 조직화되고 적응적인 시스템이 어떻게 나타나는지 설명하기 위해.

제안 방법

• 연구는 협동 학습 세션에서 음성 녹음본, 컴퓨터 화면 기록, 개념도 자료 등 다중 모달 데이터를 수집하였다.
• 데이터 전처리, AI 알고리즘을 활용한 패턴 탐지, 협동 행동의 해석이라는 삼중층 분석 프레임워크를 설계하였다.
• 자연어 처리(NLP)와 음성 분석을 적용하여 음성 데이터에서 의사소통 패턴을 추출하였다.
• 컴퓨터 비전과 상호작용 로깅 기법을 사용하여 화면 기록 데이터에서 행동적 및 인지적 행동을 분석하였다.
• 그룹 작업의 지식 구성과 구조적 복잡성을 평가하기 위해 개념도 분석을 수행하였다.
• 기계 학습 모델을 활용하여 통합된 행동, 의사소통, 상호보완적 특성 기반으로 그룹을 별개의 협동 패턴으로 분류하였다.

실험 결과

연구 질문

• RQ1 온라인 환경에서 협동 문제 해결 과정은 어떻게 동적이고 적응적이며 자율적으로 조직화된 행동으로 나타나는가?
• RQ2 CPS 과정에서 어떤 별개의 협동 패턴이 나타나며, 그들은 그룹 성과 수준과 어떻게 관련이 있는가?
• RQ3 다중 모달 데이터(음성, 화면, 개념도)가 CPS에서 상호보완적이고 복잡한 적응 시스템의 특성을 얼마나 잘 드러내는가?
• RQ4 AI 기반 학습 분석은 CPS 과정의 복잡성을 효과적으로 모델링하고 분류할 수 있는가?
• RQ5 의사소통, 행동, 지식 구성은 높은 성과와 낮은 성과를 보이는 협동 패턴을 형성하는 데 어떤 역할을 하는가?

주요 결과

• 세 가지 별개의 협동 패턴이 규명되었다: 행동 중심(유형 1), 의사소통-행동 상호보완적(유형 2), 의사소통 중심(유형 3).
• 유형 2 그룹은 의사소통, 행동, 상호보완성이 통합된 특징을 지니며 가장 높은 성과를 달성하였다.
• 유형 1 그룹은 중간 성과를 보였으며, 주로 강력한 조율이나 지식 통합 없이 작업 수행에 집중하였다.
• 유형 3 그룹은 낮은 성과를 보였으며, 효과적인 행동적 또는 인지적 조율 없이 과도한 의사소통이 특징이었다.
• 결과는 높은 성과를 보이는 그룹이 복합 적응 시스템의 특성과 일치하는 자율적이고 적응적이며 상호보완적인 동적 행동을 보임을 입증하였다.
• 다중 모달 데이터는 적응적 협동의 출현이 선형적이지 않고, 의사소통, 행동, 지식 구성 간의 동적 상호작용에 의해 발생함을 드러내었다.