[論文レビュー] FERV39k: A Large-Scale Multi-Scene Dataset for Facial Expression Recognition in Videos

Yan Wang, Yixuan Sun+6 more|arXiv (Cornell University)|Mar 17, 2022

Emotion and Mood Recognition被引用数 5

ひとこと要約

FERV39k は、日常、弱い相互作用のショー、強い相互作用の活動、および異常問題の4つのシナリオにまたがる22のシーンで構成され、合計38,935のクリップを含む大規模かつマルチシーンの動画データセットであり、7つの基本的な顔の表情がアノテーションされています。このデータセットにより、動画ベースの顔の表情認識のためのディープラーニングモデルの堅牢なベンチマーク評価が可能となり、Two VGG13-LSTMフレームワークを用いて全データセットで44.54%の正確性を達成し、最先端の性能を発揮しました。また、シーン間での顕著な性能差が明らかになり、シーンに配慮したFERモデルの開発が不可欠であることが示されました。

ABSTRACT

Current benchmarks for facial expression recognition (FER) mainly focus on static images, while there are limited datasets for FER in videos. It is still ambiguous to evaluate whether performances of existing methods remain satisfactory in real-world application-oriented scenes. For example, the "Happy" expression with high intensity in Talk-Show is more discriminating than the same expression with low intensity in Official-Event. To fill this gap, we build a large-scale multi-scene dataset, coined as FERV39k. We analyze the important ingredients of constructing such a novel dataset in three aspects: (1) multi-scene hierarchy and expression class, (2) generation of candidate video clips, (3) trusted manual labelling process. Based on these guidelines, we select 4 scenarios subdivided into 22 scenes, annotate 86k samples automatically obtained from 4k videos based on the well-designed workflow, and finally build 38,935 video clips labeled with 7 classic expressions. Experiment benchmarks on four kinds of baseline frameworks were also provided and further analysis on their performance across different scenes and some challenges for future research were given. Besides, we systematically investigate key components of DFER by ablation studies. The baseline framework and our project will be available.

研究の動機と目的

• 実世界の制約のない環境における顔の表情認識（FER）のための、大規模かつマルチシーンで高品質な動画データセットが不足しているという問題に対処すること。
• 既存のデータセットに見られる課題、例えばシーンの一様性、スケールの不⾜、シーンレベルの差異の欠如を克服すること。
• 候補となる動画クリップの生成と、クラウドソーシングおよびプロフェッショナルラベリングによる高品質な手動アノテーションを保証する、体系的かつスケーラブルなワークフローの開発。
• 多様な実世界のシナリオにわたるFERモデルの評価ベンチマークを確立し、異なるシーンの文脈における性能のばらつきや課題を明らかにすること。

提案手法

• 本データセットは4段階の戦略に基づいて構築された：(1) 動画の多様性と文脈の明確さを考慮し、4つのシナリオと22の細分化されたシーンを定義。
• (2) 4,000本の原始動画から、洗練された動画クリップ生成パイプラインを用いて自動的に86,000件の候補クリップを生成。
• ハイブリッドアノテーションプロセスを採用：迅速なラベリングのための初期クラウドソーシングと、厳密な品質管理を伴うプロフェッショナルラベリングを組み合わせ、高精度で細分化された表情ラベルを確保。
• 最終的なデータセットは、7つの古典的表現（例：笑顔、悲しみ、怒り）を含む38,935の動画クリップで構成され、長さは0.5秒から4秒まで、100万フレーム分の顔画像（336×504解像度）と100万枚のクロップド顔画像（224×224解像度）を含む。
• I3D、3D-R18、VGG13-LSTM、ResNet-LSTMといったベースラインモデルを全データセットで学習し、全シーンおよびサブシーンで評価することで、汎化性能とシーン固有の性能を評価。
• エンドツーエンドの動画表情認識における主要な構成要素を分析するためのアブレーションスタディを実施。
• 全体の正確性とシーンごとのメトリクスを用いて性能を評価し、誤りのパターンを可視化するための混同行列を描画。

実験結果

リサーチクエスチョン

• RQ1 同じ表情強度であっても、話題のショー（Talk-Show）と公式行事（Official-Event）のような異なる実世界の動画シーンにおいて、モデルの性能はどのように変化するか？
• RQ2 既存のディープラーニングアーキテクチャは、顔の表情認識において、多様で制約のない動画シーンにどの程度汎化可能か？
• RQ3 シーン固有の文脈は、顔の表情認識モデルの信頼性と一貫性にどのような影響を及えるか？
• RQ4 提案された4段階のパイプラインは、アノテーションに適した高品質で大規模な動画クリップ候補を生成するのにどの程度効果的か？
• RQ5 エンドツーエンドの動画ベースの顔の表情認識において、性能に顕著な影響を与える主な構成要素は何か？

主な発見

• Two VGG13-LSTMモデルが、全FERV39kデータセットで44.54%の最高全体正確性を達成し、I3D や 3D-R18 などの他のアーキテクチャを上回りました。
• シーン間で顕著な性能のばらつきが観察されました。たとえば、「ビジネス」シーンでは63.72%の正確性を示した一方、「AI9k」では31.68%にとどまり、強いドメインシフトとシーン固有の課題が顕在化しました。
• 全シーンで学習したモデルは、『インタビュー』や『犯罪』などのサブシーンにあまり汎化できず、正確性はそれぞれ33.73%および27.33%に低下しました。これは、シーンに配慮した適応の必要性を示しています。
• 混同行列の分析から、「笑顔」と「悲しみ」は、特に「ライブショー」や「トークショー」のシーンで、低強度または曖昧な文脈ではよく誤分類されることが明らかになりました。
• アブレーションスタディの結果、LSTM層による時系列モデリングが性能向上に顕著に寄与することが確認され、Two VGG13-LSTMは44.54%の正確性を達成した一方、VGG16-LSTMでは41.70%にとどまり、シーケンスモデリングの重要性が示されました。
• 本データセットは、シーンの文脈が極めて重要な要因であることを明らかにしました。多様なシーンで学習したモデルは全体として高い性能を発揮しますが、未学習または重複が少ないシーンでテストすると性能が急激に低下します。これは、シーンに配慮したFERシステムの開発が不可欠であることを強く示唆しています。