[論文レビュー] EmotiW 2018: Audio-Video, Student Engagement and Group-Level Affect Prediction

Abhinav Dhall, Amanjot Kaur+2 more|arXiv (Cornell University)|Aug 23, 2018

Emotion and Mood Recognition参考文献 20被引用数 11

ひとこと要約

本論文は、音声・視覚的感情認識、MOOCにおける学生の関与度予測、グループレベルの感情認識の3つのサブチャレンジを含む、マルチモーダルな感情認識チャレンジ「EmotiW 2018」を提示する。本研究では、149本のトレーニング動画、48本のバリデーション動画、67本のテスト動画を含む新しい学生の関与度データセットを提供し、深層学習アンサンブルを用いたトップモデルが音声・視覚的感情認識で61.87%の正確度を達成したことを報告している。

ABSTRACT

This paper details the sixth Emotion Recognition in the Wild (EmotiW) challenge. EmotiW 2018 is a grand challenge in the ACM International Conference on Multimodal Interaction 2018, Colorado, USA. The challenge aims at providing a common platform to researchers working in the affective computing community to benchmark their algorithms on `in the wild' data. This year EmotiW contains three sub-challenges: a) Audio-video based emotion recognition; b) Student engagement prediction; and c) Group-level emotion recognition. The databases, protocols and baselines are discussed in detail.

研究の動機と目的

• ICMI 2018における大規模チャレンジを通じて、制約のない実世界環境における感情計算のベンチマークを確立すること。
• MOOCにおける学生の関与度検出のための公開可能なデータセットの不足に対処するため、多様な照明、背景、録画条件を有する新しい多様なデータセットを構築すること。
• 社会的状況における集団的な感情状態に注目し、視覚データからの集団レベルの感情認識の研究を可能にすること。
• 3つの異なるサブチャレンジにおける感情認識のための標準化されたプロトコル、評価指標、ベースラインを提供すること。
• 特に深層学習とアンサンブル手法に焦点を当て、マルチモーダル感情認識分野におけるイノベーションを促進するためのコンペティションを実施すること。

提案手法

• ホステル、カフェテリア、コンピュータラボなど多様な実世界の環境から、149本のトレーニング動画、48本のバリデーション動画、67本のテスト動画を含む新しい学生の関与度データセットを収集した。
• 動画フレームからOpenFaceを用いて目の注視方向と頭部の動きの特徴を抽出し、時間的分析のための重複する25%のセグメントにダウンサンプリングおよび分割した。
• 顔面のランドマークと注視ポイントの時間的系列に対して、平均、標準偏差、歪度、尖度といった統計的特徴を適用し、関与度モデル化に用いた。
• 特にアンサンブルネットワークを用いた深層学習モデルを、音声・視覚的感情認識およびグループレベルの感情予測に適用した。
• 関与度ラベルの間隔アノテーター間整合性を評価するために、重み付きCohenのKappaを用い、ラベルは[0–1]スケールに回帰した。
• 感情認識およびグループレベルの感情認識には分類正確度を、関与度予測には回帰指標を用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルな手がかりを用いて、制約のない実世界のMOOC視聴環境において、学生の関与度を信頼性高く検出することは可能か？
• RQ2 「世の中にいる」動画データにおける音声・視覚的感情認識において、深層学習モデルの性能はいかほどか？
• RQ3 視覚的情報のみを用いて、グループの状況における集団的感情状態を正確に予測することは可能か？
• RQ4 アンサンブル型深層学習モデルは、マルチモーダル感情認識タスクにおいてベースライン手法と比較してどのように性能を発揮するか？
• RQ5 制御のきかない環境において、関与度および感情を最もよく予測するキービジュアルおよび音声・視覚的特徴は何か？

主な発見

• 音声・視覚的感情認識の最優秀チームは、テストセットで61.87%の分類正確度を達成し、41.07%のベースラインを大きく上回った。
• 目の注視方向と頭部の動きの特徴をOpenFaceで抽出し、時間的統計的パターンに注目することで、学生の関与度予測が成功裏にモデル化された。
• グループレベルの感情認識サブチャレンジでは、グループのシーンからの視覚的特徴を用いて集団的な感情状態を中程度の正確度で推定できることを示した。
• 特に音声・視覚的感情認識において、深層学習アンサンブルがすべてのサブチャレンジで最高のパフォーマンスを示した。
• 149本のトレーニング動画に91名の被験者を含み、多様な環境的条件を持つ新しい学生の関与度データセットは、今後の研究における強固なベンチマークを提供する。
• 関与度ラベルのアノテーター間整合性は中程度から高い水準（重み付きKappa）であり、アノテーションプロトコルの信頼性が裏付けられた。