[논문 리뷰] An Identification of Learners' Confusion through Language and Discourse Analysis

Thushari Atapattu, Katrina Falkner외 3명|arXiv (Cornell University)|2019. 03. 08.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 37인용 수 4

한 줄 요약

이 논문은 공동체 지표나 생리적 센서에 의존하지 않고, 언어 및 담론 기반의 새로운 접근 방식을 제안하여 MOOC에서 학습자의 혼란을 식별한다. 사용자 정의된 언어적 특징 집합을 활용해 혼란을 분류함으로써, 개인 수준의 정서 상태를 텍스트 분석만으로 포착한다. 이 방법은 강력한 다도메인 일반화 성능을 보이며, 기존 모델보다 뛰어나다.

ABSTRACT

The substantial growth of online learning, in particular, Massively Open Online Courses (MOOCs), supports research into the development of better models for effective learning. Learner 'confusion' is among one of the identified aspects which impacts the overall learning process, and ultimately, course attrition. Confusion for a learner is an individual state of bewilderment and uncertainty of how to move forward. The majority of recent works neglect the 'individual' factor and measure the influence of community-related aspects (e.g. votes, views) for confusion classification. While this is a useful measure, as the popularity of one's post can indicate that many other students have similar confusion regarding course topics, these models neglect the personalised context, such as individual's affect or emotions. Certain physiological aspects (e.g. facial expressions, heart rate) have been utilised to classify confusion in small to medium classrooms. However, these techniques are challenging to adopt to MOOCs. To bridge this gap, we propose an approach solely based on language and discourse aspects of learners, which outperforms the previous models. We contribute through the development of a novel linguistic feature set that is predictive for confusion classification. We train the confusion classifier using one domain, successfully applying it across other domains.

연구 동기 및 목표

• 기존 혼란 탐지 모델이 MOOC에서 개인 학습자의 정서와 감정을 간과하는 격차를 보완하기 위해.
• 공동체 수준의 신호(예: 투표 수나 조회 수)에 의존하지 않는, 확장 가능한 언어 기반 혼란 탐지 방법을 개발하기 위해.
• 학습자가 생성한 텍스트에서 혼란을 예측할 수 있는 새로운 언어적 및 담론적 특징 집합을 만들기 위해.
• 단일 훈련, 다도메인 일반화 전략을 통해 다양한 과정 도메인에서 효과적인 혼란 분류를 가능하게 하기 위해.

제안 방법

• 저자는 학습자 게시물에서 문법적 복잡성, 어휘 다양성, 회피 표현, 담론 마커를 포괄하는 사용자 정의 언어적 특징 집합을 설계한다.
• MOOC의 학습자 포럼 게시물에서 텍스트 특징을 추출하며, 주로 불확실성, 망설임, 언어적 불순화를 표현하는 표현에 집중한다.
• 제안된 언어적 특징을 사용하여 한 도메인 과정에서 감정 상태로의 혼란을 예측하는 지도 학습 기반 기계 학습 분류기를 훈련시킨다.
• 모델은 제로샷 다도메인 일반화를 평가하기 위해, 한 과정에서 훈련된 모델을 관련이 없는 다른 과정에서 혼란을 예측하는 데 적용한다.
• 이 방법은 생리적 센서나 공동체 참여 지표에 의존하지 않으며, 오직 언어적 신호에만 초점을 맞춘다.
• 프레임워크는 여러 MOOC에서 검증되어 언어적 특징의 강건성과 이식 가능성(이행성)을 입증한다.

실험 결과

연구 질문

• RQ1 공동체 또는 생리적 데이터 없이 언어적 및 담론적 특징만으로 MOOC에서 학습자의 혼란을 효과적으로 식별할 수 있는가?
• RQ2 한 도메인 과정에서 훈련된 혼란 분류기가 다른 관련 없는 도메인 과정으로 일반화되는 정도는 어느 정도인가?
• RQ3 오픈 온라인 학습 환경에서 학습자의 혼란을 가장 잘 예측하는 특정 언어적 특징는 무엇인가?
• RQ4 제안된 모델은 공동체 신호나 센서 데이터에 의존하는 기존 혼란 탐지 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 언어적 특징 집합은 공동체 지표에 의존하는 기준 모델보다 혼란 탐지 성능을 크게 향상시킨다.
• 모델은 강력한 다도메인 일반화 성능을 보이며, 단일 훈련 모델을 다양한 과목 주제에 적용해 혼란을 성공적으로 예측한다.
• 망설임, 어휘 단순화, 담론적 불확실성을 보여주는 학습자 게시물은 혼란의 강력한 지표이다.
• 도메인 특화 및 제로샷 다도메인 설정 모두에서 기존 방법보다 모델이 뛰어난 성능을 보이며, 개인 맞춤형 텍스트 분석의 가치를 입증한다.