[논문 리뷰] n-Gage: Predicting in-class Emotional, Behavioural and Cognitive Engagement in the Wild

Nan Gao, Wei Shao외 2명|arXiv (Cornell University)|2020. 07. 09.

Flow Experience in Various Fields참고 문헌 81인용 수 32

한 줄 요약

n-Gage는 실제 교실에서 웨어러블 및 환경 센서를 사용하여 고등학생의 다차원적 수업 참여(감정적, 행동적, 인지적)를 예측하며 MAE ~0.56–0.79 및 RMSE ~0.72–0.98를 달성합니다.

ABSTRACT

The study of student engagement has attracted growing interests to address problems such as low academic performance, disaffection, and high dropout rates. Existing approaches to measuring student engagement typically rely on survey-based instruments. While effective, those approaches are time-consuming and labour-intensive. Meanwhile, both the response rate and quality of the survey are usually poor. As an alternative, in this paper, we investigate whether we can infer and predict engagement at multiple dimensions, just using sensors. We hypothesize that multidimensional student engagement can be translated into physiological responses and activity changes during the class, and also be affected by the environmental changes. Therefore, we aim to explore the following questions: Can we measure the multiple dimensions of high school student's learning engagement including emotional, behavioural and cognitive engagement with sensing data in the wild? Can we derive the activity, physiological, and environmental factors contributing to the different dimensions of student engagement? If yes, which sensors are the most useful in differentiating each dimension of the engagement? Then, we conduct an in-situ study in a high school from 23 students and 6 teachers in 144 classes over 11 courses for 4 weeks. We present the n-Gage, a student engagement sensing system using a combination of sensors from wearables and environments to automatically detect student in-class multidimensional learning engagement. Experiment results show that n-Gage can accurately predict multidimensional student engagement in real-world scenarios with an average MAE of 0.788 and RMSE of 0.975 using all the sensors. We also show a set of interesting findings of how different factors (e.g., combinations of sensors, school subjects, CO2 level) affect each dimension of the student learning engagement.

연구 동기 및 목표

• 센서 기반 자동화된 참여 측정이 시간 소모적인 설문을 보완하거나 대체할 필요를 촉진한다.
• 야생에서 수집된 생리, 활동 및 환경 데이터로 다차원적 참여(감정적, 행동적, 인지적)를 추정할 수 있는지 조사한다.
• 각 참여 차원을 가장 효과적으로 구분하는 센서를 식별한다.
• 웨어러블 및 실내 환경 데이터의 융합으로 참여 예측을 수행하는 교실 감지 시스템(n-Gage)을 개발하고 검증한다.]
• method([

제안 방법

• 고등학교에서 4주간 144개 수업에 걸쳐 23명의 학생과 6명의 교사를 대상으로 대규모의 다양한 야생 데이터세트를 수집한다.
• EDA, PPG/HRV, 가속도계, 피부 온도 등을 캡처하는 Empatica E4 손목밴드를 사용하고, 온도와 CO2를 측정하는 Netatmo 실내 센서를 활용한다.
• 행동적, 감정적, 인지적 차원에 대해 적응된 In-class Student Engagement Questionnaires (ISEQ)를 통해 자기 보고 참여를 수집한다.
• IGTS를 통한 수업 시간대 구간화, 아티팩트 제거, EDA 분해, HRV 추정, 정규화 등 데이터 전처리를 수행한다.
• 생리 신호, 활동, 환경 데이터에서 피부 온도와 실내 환경 측정을 포함한 특징을 추출한다.
• LightGBM 회귀기로 다차원 참여를 예측하고, 모든 센서에 대해 MAE 및 RMSE로 평가한다.]
• research_questions:["야생에서의 sensing 데이터로 고등학생의 학습 참여를 다차원(감정적, 행동적, 인지적)으로 측정할 수 있는가?","다른 참여 차원에 기여하는 활동, 생리 및 환경 요인 및 어떤 센서가 이를 가장 잘 구분하는가?","각 참여 차원을 예측하는 정확도를 가장 크게 향상시키는 센서 및 특징 표현은 무엇인가?","환경 요인(예: CO2)이 실제 교실 환경에서 참여 차원에 어떻게 영향을 미치는가?"]
• key_findings:["n-Gage는 모든 센서를 사용할 때 MAE 약 0.56 및 RMSE 약 0.72로 다차원적 참여를 예측할 수 있다.","야생 데이터 전체에서 모든 센서를 사용하면 참여 예측의 MAE ≈ 0.788 및 RMSE ≈ 0.975가 된다.","CO2와 같은 환경 요인은 인지적 참여에 부정적 영향을 미치며 통풍의 관련성을 강조한다.","생리 신호, 움직임 및 실내 환경 데이터를 결합하여 실제 교실에서의 참여 추정에 유용하다는 근거를 제공한다.","데이터세트는 정제 후 331개 수업 세션으로 구성되며, 23명의 학생과 6명의 교사가 참여한 105개의 분석 수업을 포함한다."]
• table_headers:
• table_rows:

실험 결과

연구 질문

• RQ1 야생에서 sensing 데이터로 고등학생의 학습 참여를 다차원(감정적, 행동적, 인지적)으로 측정할 수 있는가?
• RQ2 다른 참여 차원에 기여하는 활동, 생리 및 환경 요인 및 어떤 센서가 이를 가장 잘 구분하는가?
• RQ3 각 참여 차원을 예측하는 정확도를 가장 크게 향상시키는 센서 및 특징 표현은 무엇인가?
• RQ4 환경 요인(예: CO2)이 실제 교실 환경에서 참여 차원에 어떻게 영향을 미치는가?

주요 결과

• n-Gage는 모든 센서를 사용할 때 MAE 약 0.56 및 RMSE 약 0.72로 다차원적 참여를 예측할 수 있다.
• 야생 데이터 전체에서 모든 센서를 사용하면 참여 예측의 MAE ≈ 0.788 및 RMSE ≈ 0.975가 된다.
• CO2와 같은 환경 요인은 인지적 참여에 부정적 영향을 미치며 통풍의 관련성을 강조한다.
• 생리 신호, 움직임 및 실내 환경 데이터를 결합하여 실제 교실에서의 참여 추정에 유용하다는 근거를 제공한다.
• 데이터세트는 정제 후 331개 수업 세션으로 구성되며, 23명의 학생과 6명의 교사가 참여한 105개의 분석 수업을 포함한다.