[論文レビュー] An Identification of Learners' Confusion through Language and Discourse Analysis

Thushari Atapattu, Katrina Falkner+3 more|arXiv (Cornell University)|Mar 8, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 37被引用数 4

ひとこと要約

本論文は、コミュニティ指標や生理的センサーに依存せずに、独自の言語的特徴セットを用いて、MOOCにおける学習者の混乱を特定する、新しい言語的・対話的アプローチを提案する。この手法は、強力なドメイン間一般化性能を示し、テキスト分析のみで個々の学習者の感情状態を捉えることで、先行モデルを上回る性能を発揮する。

ABSTRACT

The substantial growth of online learning, in particular, Massively Open Online Courses (MOOCs), supports research into the development of better models for effective learning. Learner 'confusion' is among one of the identified aspects which impacts the overall learning process, and ultimately, course attrition. Confusion for a learner is an individual state of bewilderment and uncertainty of how to move forward. The majority of recent works neglect the 'individual' factor and measure the influence of community-related aspects (e.g. votes, views) for confusion classification. While this is a useful measure, as the popularity of one's post can indicate that many other students have similar confusion regarding course topics, these models neglect the personalised context, such as individual's affect or emotions. Certain physiological aspects (e.g. facial expressions, heart rate) have been utilised to classify confusion in small to medium classrooms. However, these techniques are challenging to adopt to MOOCs. To bridge this gap, we propose an approach solely based on language and discourse aspects of learners, which outperforms the previous models. We contribute through the development of a novel linguistic feature set that is predictive for confusion classification. We train the confusion classifier using one domain, successfully applying it across other domains.

研究の動機と目的

• MOOCにおける個々の学習者の感情や感情状態を無視する既存の混乱検出モデルのギャップを埋める。
• コミュニティレベルの信号（投票数や閲覧数など）に依存しない、スケーラブルで言語のみに依存する混乱検出手法を開発する。
• 学習者生成テキストにおける混乱を予測可能な、新しい言語的および対話的特徴のセットを構築する。
• 一度の学習で複数のドメインに一般化可能な戦略を用いて、異なるコースドメインにおいても効果的な混乱分類を実現する。

提案手法

• 著者は、文法的複雑さ、語彙的多様性、緩和表現、対話的マーカーを捉える独自の言語的特徴セットを設計した。
• MOOCの学習者フォーラム投稿からテキスト特徴を抽出し、曇りや不確実性、言語の不順応を示す表現に焦点を当てた。
• 提案された言語的特徴を用いて、1つのコースドメインで教師あり機械学習分類器を学習し、混乱状態を予測した。
• ゼロショットのドメイン間一般化を評価するため、1つのコースで学習したモデルを、関連のない他のコースに適用した。
• 生理的センサーやコミュニティ参加指標に依存せず、言語的手がかりにのみ焦点を当てた。
• 複数のMOOCにおいてフレームワークを検証し、言語的特徴の頑健性と転送可能性を示した。

実験結果

リサーチクエスチョン

• RQ1 コミュニティデータや生理的データなしに、言語的および対話的特徴のみで、MOOCにおける学習者の混乱を効果的に特定できるか？
• RQ2 1つのコースドメインで学習した混乱分類器は、関連のない他のドメインにどの程度一般化できるか？
• RQ3 オープンオンライン学習環境における学習者の混乱を最も効果的に予測する具体的な言語的特徴は何か？
• RQ4 提案手法は、コミュニティ信号やセンサーデータに依存する既存の混乱検出手法をどの程度上回るか？

主な発見

• 提案された言語的特徴セットは、コミュニティ指標に依存するベースラインモデルと比較して、混乱検出性能を顕著に向上させた。
• モデルは強力なドメイン間一般化性能を示し、一度の学習で多様なコーストピックにおける混乱予測に成功した。
• ためらい、語彙の単純化、対話的不確実性を示す学習者投稿は、混乱の強い兆候である。
• ドメイン固有の設定およびゼロショットドメイン間一般化設定の両方で、既存手法を上回る性能を示し、個別化されたテキスト分析の価値を実証した。