[論文レビュー] Deep Learning for Domain Adaption: Engagement Recognition.

Omid Mohamad Nezami, Len Hamey+2 more|arXiv (Cornell University)|Aug 7, 2018

Emotion and Mood Recognition参考文献 4被引用数 5

ひとこと要約

本論文では、教育現場における関与度認識のためのディープ転移学習手法を提案する。関与度固有のデータが限られている課題を克服するため、顔の表情データで事前学習を行う。本手法は、4,627件の関与度サンプルで構成される新規データセットにおいて、ベースラインモデル（SVM や HOG+SVM）を上回る優れた性能を達成した。

ABSTRACT

Engagement is a key indicator of the quality of learning experience, and one that plays a major role in developing intelligent educational interfaces. Any such interface requires the ability to recognise the level of engagement in order to respond appropriately; however, there is very little existing data to learn from, and new data is expensive and difficult to acquire. This paper presents a deep learning model to improve engagement recognition from images that overcomes the data sparsity challenge by pre-training on readily available basic facial expression data, before training on specialised engagement data. In the first of two steps, a facial expression recognition model is trained to provide a rich face representation using deep learning. In the second step, we use the model's weights to initialize our deep learning based model to recognize engagement; we term this the engagement model. We train the model on our new engagement recognition dataset with 4627 engaged and disengaged samples. We find that the engagement model outperforms effective deep learning architectures that we apply for the first time to engagement recognition, as well as approaches using histogram of oriented gradients and support vector machines.

研究の動機と目的

• 教育的文脈における関与度認識のためのラベル付きデータが限られているという課題に対処すること。
• データ不足の状況下でもディープラーニングを用いて関与度認識の精度を向上させること。
• 顔の表情データでの事前学習を活用し、関与度分類に適した強固な顔特徴表現を抽出すること。
• 関与度認識に特化した新しいディープラーニングモデルの開発と評価を行うこと。

提案手法

• 一般化された顔特徴表現を学習するため、公開済みの顔の表情データセットでディープニューラルネットワークを事前学習する。
• 事前学習済みモデルの重みを初期化として活用し、関与度認識用の新しいディープラーニングモデルに微調整する。
• 新たに収集した4,627枚の画像データセット（関与済み／不関与）を用いて、関与度固有のモデルを学習する。
• 一般化された顔特徴表現を関与度認識という特定のタスクに適応させるために、転移学習を適用する。
• HOG + SVM や他のディープラーニングアーキテクチャといった従来手法と比較してモデルを評価する。
• 畳み込みニューラルネットワークを用いたエンドツーエンド学習により、階層的な顔特徴を抽出して分類に用いる。

実験結果

リサーチクエスチョン

• RQ1 顔の表情データでの事前学習が、ラベル付きデータが限られた状況下での関与度認識の性能を向上させることができるか？
• RQ2 表情認識から得た転移学習が、関与度検出の精度をどのように向上させるか？
• RQ3 提案されたディープラーニングモデルは、HOG + SVM といった従来手法を上回るか？
• RQ4 標準的な特徴抽出手法と比較して、ドメイン適応型のディープ特徴を用いることで得られる性能向上は何か？
• RQ5 関与度認識の低データ環境下において、転移学習戦略はどの程度有効か？

主な発見

• 提案された関与度モデルは、従来のHOG + SVMおよび他のディープラーニングアーキテクチャを上回る性能を示した。
• 顔の表情データでの事前学習が、関与度認識タスクの性能を顕著に向上させた。
• 4,627件のラベル付きサンプルから構成される新規データセットにおいて、最先端の結果を達成した。
• 関連タスクからの豊富な表現を活用することで、転移学習がデータスパarsityを効果的に緩和した。
• 関与度固有の訓練データが限られている中でも、モデルは強力な一般化能力を示した。
• 表情データから学習されたディープ特徴を関与度認識に活用する有効性が、結果から確認された。