[論文レビュー] EEV: A Large-Scale Dataset for Studying Evoked Expressions from Video

Jennifer J. Sun, Ting Liu+4 more|arXiv (Cornell University)|Jan 15, 2020

Emotion and Mood Recognition参考文献 49被引用数 8

ひとこと要約

本稿では、6 Hzでキャプチャされたフレーム単位の顔面表情アノテーションを3670万件も含む大規模データセットEEVを紹介する。このデータセットは23,574本の動画から構成され、視聴者の誘発された反応を捉えている。動画ベースの表情認識モデルを用いたスケーラブルなデータ収集フレームワークを活用し、著者らはマルチモーダルRNNベースラインモデルを構築し、LIRIS-ACCEDEで転移学習の利点を示した。EEVは動画コンテンツからの誘発された感情の予測を向上させることを示している。

ABSTRACT

Videos can evoke a range of affective responses in viewers. The ability to predict evoked affect from a video, before viewers watch the video, can help in content creation and video recommendation. We introduce the Evoked Expressions from Videos (EEV) dataset, a large-scale dataset for studying viewer responses to videos. Each video is annotated at 6 Hz with 15 continuous evoked expression labels, corresponding to the facial expression of viewers who reacted to the video. We use an expression recognition model within our data collection framework to achieve scalability. In total, there are 36.7 million annotations of viewer facial reactions to 23,574 videos (1,700 hours). We use a publicly available video corpus to obtain a diverse set of video content. We establish baseline performance on the EEV dataset using an existing multimodal recurrent model. Transfer learning experiments show an improvement in performance on the LIRIS-ACCEDE video dataset when pre-trained on EEV. We hope that the size and diversity of the EEV dataset will encourage further explorations in video understanding and affective computing. A subset of EEV is released at https://github.com/google-research-datasets/eev.

研究の動機と目的

• 動画コンテンツに対する誘発的反応を研究するための大規模かつ多様なデータセットの不足に対処すること。
• 視聴者が動画を視聴している際のフレーム単位の顔面表情アノテーションを、自動的かつスケーラブルに収集するフレームワークの開発。
• マルチモーダル特徴を用いて、動画コンテンツから直接誘発された顔面表情を予測するためのベンチマークの確立。
• EEVが関連する感情認識タスクにおける転移学習の可能性を評価すること。
• 動画のテーマやコンテンツが特定の誘発された表情とどのように相関するかを調査すること。

提案手法

• 視聴中の視聴者の顔面表情をリアルタイムで自動検出・アノテートするために、事前学習済みの表情認識モデルを活用した。
• 公開済みの動画を視聴する視聴者の反応を収集し、動的な誘発表情の変化を捉えるために6Hzのフレームレートを用いた。
• 23,574本の動画にわたり、15種類の連続的顔面表情ラベル（例：楽しさ、驚き、怒り）をフレームごとにアノテートした。
• 画像、顔、音声の特徴を組み合わせたマルチモーダル再帰ニューラルネットワーク（RNN）モデルを用い、動画コンテンツから誘発された表情を予測した。
• EEVでベースラインモデルを事前学習し、LIRIS-ACCEDEデータセットで微調整することで、転移学習を実施した。
• 特徴の除去実験（ablation）を実施し、個々のモダリティ（画像、顔、音声）が予測性能に与える寄与度を評価した。

実験結果

リサーチクエスチョン

• RQ1 追加の視聴者固有のデータなしで、動画コンテンツからのみ誘発された顔面表情を予測できるか？
• RQ2 どの誘発された顔面表情が動画コンテンツからより予測されやすく、どの表情がより困難であるか？
• RQ3 異なる動画のテーマやコンテンツタイプが特定の誘発された表情とどのように相関するか？
• RQ4 EEVデータセットが関連する感情認識タスクの性能向上に、どの程度寄与するか？
• RQ5 視覚的、顔面的、音声的特徴のうち、どの特徴が誘発された表情予測に相対的に寄与しているか？

主な発見

• ベースラインマルチモーダルRNNモデルは、15のすべての誘発表情で正の相関を示したが、楽しさ、集中、驚きの表情の方が怒りや勝利の表情よりも相関が高かった。
• 音声特徴が予測性能に最も寄与しており、その除去によって全表情で相関が最も大きく低下した。
• 顔特徴は最も情報量が少なく、音声特徴を除去した場合よりも影響が小さく、冗長性や判別力の限界が示唆された。
• EEVからの転移学習により、LIRIS-ACCEDEデータセットでの性能が向上し、感情の強さ（valence）では平均二乗誤差（MSE）が30%低下、情動の高揚度（arousal）では32%低下した。特に感情の強さの分野で高い向上が得られた。
• 音声特徴が含まれていると、満足感や落胆といった特定の表情がより強く予測可能であることが判明した。
• EEVの動画テーマの分布（自動アノテーションにより導出）は、重複のない多様なテーマを含んでおり、感情認識の動画分析への広範な適用可能性を裏付けている。