[論文レビュー] Automatic Recognition of Student Engagement using Deep Learning and Facial Expression

Omid Mohamad Nezami, Mark Dras+4 more|arXiv (Cornell University)|Aug 7, 2018

Emotion and Mood Recognition被引用数 6

ひとこと要約

本論文は、一般の顔の感情データ（FER-2013）を事前学習することで、参加者参加度認識のデータ不足を克服する深層学習モデルを提案する。提案された「参加度モデル」は、新規の4,627サンプルから成るデータセットで72.38%の正確性、73.90%のF1スコア、73.74%のAUCを達成し、CNN、VGGNet、HOG+SVMベースラインよりそれぞれ6%以上、3%以上、10%以上優れている。

ABSTRACT

Engagement is a key indicator of the quality of learning experience, and one that plays a major role in developing intelligent educational interfaces. Any such interface requires the ability to recognise the level of engagement in order to respond appropriately; however, there is very little existing data to learn from, and new data is expensive and difficult to acquire. This paper presents a deep learning model to improve engagement recognition from images that overcomes the data sparsity challenge by pre-training on readily available basic facial expression data, before training on specialised engagement data. In the first of two steps, a facial expression recognition model is trained to provide a rich face representation using deep learning. In the second step, we use the model's weights to initialize our deep learning based model to recognize engagement; we term this the engagement model. We train the model on our new engagement recognition dataset with 4627 engaged and disengaged samples. We find that the engagement model outperforms effective deep learning architectures that we apply for the first time to engagement recognition, as well as approaches using histogram of oriented gradients and support vector machines.

研究の動機と目的

• 教育現場における参加者参加度認識のためのラベル付きデータが限られているという課題に対処すること。
• 一般の顔の感情データから得られる豊富な顔の特徴表現を活用して、参加者参加度認識のパフォーマンスを向上させる深層学習モデルの開発。
• 行動的および感情的次元の参加度を含む心理的根拠に基づいた新たなデータセット（ERデータセット）の作成。
• 深層ニューラルネットワークを用いた基本的な顔の感情認識から参加者参加度認識へのトランスファー学習の有効性を示すこと。

提案手法

• 基本的な感情のための顔の特徴表現を学習するため、FER-2013データセットで畳み込みニューラルネットワーク（CNN）を事前学習する。
• 事前学習済みモデルの重みを初期値として使用し、参加者参加度認識に特化した新しい深層学習モデル（「参加度モデル」として命名）を微調整する。
• 参加度あり／なしのラベルが付与された4,627枚の画像から成る新規に収集されたデータセットを用いて参加度モデルを学習する。ラベルは行動的次元と感情的次元に分離して行われた。
• より大きな顔の感情データセットから学習された特徴を活用することで、参加度特化の小さなデータセットでもパフォーマンスを向上させるトランスファー学習を用いる。
• 標準的な指標（正確性、F1スコア、AUC）を用いてモデルを評価し、HOG+SVM、標準CNN、VGGNetベースラインと比較する。
• 特に視覚的変動が大きい不参加状態のクラスごとのパフォーマンスを評価するため、混同行列を分析する。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付き参加度データがあるにもかかわらず、一般の顔の感情データで事前学習することで、参加者参加度認識のパフォーマンスが向上するか？
• RQ2 顔の感情特徴から微調整された深層学習モデルは、従来の手作業特徴（例：HOG）や標準CNNよりも参加者参加度認識で優れた性能を示すか？
• RQ3 顔の表情や姿勢の変動が大きい不参加状態を区別する能力として、提案モデルはどれほど効果的か？
• RQ4 行動的および感情的次元の二重ラベル化アプローチは、参加度ラベル付けの信頼性と解釈可能性をどの程度向上させるか？

主な発見

• 参加度モデルはテストセットで72.38%の分類正確性を達成し、次に優れたモデル（CNN）より6%以上、HOG+SVMより12.5%以上優れていた。
• F1スコアは73.90%で、深層ベースラインモデルより3%向上、HOG+SVMより6%向上した。
• AUC指標では73.74%を達成し、CNNおよびVGGNetモデルより5%向上、HOG+SVMより10%向上した。
• 不参加状態のサンプルを識別する際の正確性は60.42%で、HOG+SVMより27%向上し、複雑な視覚的変動への対処能力が優れていることが示された。
• 混同行列の分析から、特に参加度モデルを含む深層モデルは、多様な顔の表情や姿勢の手がかりを捉える能力があるため、不参加状態を認識する上で顕著に優れていることが確認された。
• 本研究は、一般の顔の感情データからのトランスファー学習が、データが少ない状況における参加者参加度認識の向上に極めて有効な戦略であることを示している。