[論文レビュー] EmotioNet Challenge: Recognition of facial expressions of emotion in the wild

C. Fabian Benitez-Quiroz, Ramprakash Srinivasan+3 more|arXiv (Cornell University)|Mar 3, 2017

Face recognition and analysis参考文献 18被引用数 49

ひとこと要約

本論文は、野生の状況下における感情の顔の表情を認識するためのコンピュータビジョンアルゴリズムの大型評価、EmotioNetチャレンジを提示する。100万枚の画像から成るデータセット（自動アノテーション済み95万枚、手動で検証済み5万枚）を用い、11個のアクションユニット（AU）検出と16の感情カテゴリー認識をテストした。主な発見では、現在のアルゴリズムは、特に非正面の3次元的ポーズ下で感情認識に著しく苦労していることが示されたが、解像度の変化や軽微な遮蔽には頑健である。

ABSTRACT

This paper details the methodology and results of the EmotioNet challenge. This challenge is the first to test the ability of computer vision algorithms in the automatic analysis of a large number of images of facial expressions of emotion in the wild. The challenge was divided into two tracks. The first track tested the ability of current computer vision algorithms in the automatic detection of action units (AUs). Specifically, we tested the detection of 11 AUs. The second track tested the algorithms' ability to recognize emotion categories in images of facial expressions. Specifically, we tested the recognition of 16 basic and compound emotion categories. The results of the challenge suggest that current computer vision and machine learning algorithms are unable to reliably solve these two tasks. The limitations of current algorithms are more apparent when trying to recognize emotion. We also show that current algorithms are not affected by mild resolution changes, small occluders, gender or age, but that 3D pose is a major limiting factor on performance. We provide an in-depth discussion of the points that need special attention moving forward.

研究の動機と目的

• 制御された実験室環境を超えて、制約のない現実世界の状況（野生の状況）における顔の表情の感情認識のコンピュータビジョンアルゴリズムの性能を評価すること。
• 感情に関連する筋肉の動きに対応する11の特定の顔のアクションユニット（AUs）を検出する分野における最先端技術を評価すること。
• 自然で制約のない環境下で16の基本的および複合的な感情カテゴリーを認識するアルゴリズムの能力をテストすること。
• アルゴリズムの性能を制限する要因（3次元的ポーズ、画像解像度、遮蔽、人口統計的要因など）を同定すること。
• 今後の研究を支援するため、自動生成と専門家による検証済みの両方のアノテーションを備えた大規模かつ高品質なベンチマークデータセット（EmotioNet）を提供すること。

提案手法

• 多様で現実世界のソースから得た100万枚の顔の画像の大型データセットを構築し、顔のアクションユニットと感情カテゴリーでラベル付けした。
• 人間の神経認知的原則に基づく計算モデルを用い、学習用に95万枚の画像を自動アノテーションした。アノテーション精度は既知で約81％であった。
• アルゴリズムのノイズの多いトレーニングラベルに対する頑健性を評価するために、別個の手動アノテーション済みバリデーションセット（2万5千枚）を用いた。
• 最終評価のため、隔離されたテストセット（2万5千枚）を確保し、開発段階でのデータ漏洩を防いだ。
• 2つのチャレンジトラックを設計した：1つは11個のAU検出（AU検出トラック）、もう1つは16の感情カテゴリー認識（感情カテゴリー認識トラック）、両者とも標準化された評価プロトコルを採用した。
• アルゴリズムの頑健性とバイアスを評価するため、3次元的ポーズ（ピッチ/ヨー）、画像解像度、遮蔽、性別、年齢といった変数を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 現在のコンピュータビジョンアルゴリズムは、制約のない現実世界の画像において、11個の顔のアクションユニット（AUs）を信頼性を持って検出できるか？
• RQ2 画像解像度、軽微な遮蔽、性別、年齢が、AU検出および感情認識アルゴリズムの性能にどの程度影響を及えるか？
• RQ3 3次元的顔のポーズ（ピッチおよびヨー）は、現実世界の状況下で感情認識およびAU検出の正確性にどのように影響を与えるか？
• RQ4 なぜ、人間が簡単に解けるタスクであるにもかかわらず、感情カテゴリー認識の性能はAU検出に比べて著しく劣っているのか？
• RQ5 高品質な手動アノテーション済みサブセットで検証された場合、ノイズの多いトレーニングラベルから効果的に学習できるか？

主な発見

• 現在のコンピュータビジョンアルゴリズムは、制約のない現実世界の画像において、顔のアクションユニット（AUs）や感情カテゴリーを信頼性を持って検出できない。
• 感情認識のパフォーマンスはAU検出よりも著しく劣っており、これは、単純で日常的に行われる人間の能力ですら、AIシステムには到達不能であることを示している。
• 3次元的顔のポーズが最大の制限要因であり、顔が正面から離れるほど性能が著しく低下する。
• アルゴリズムは画像解像度の軽微な変化や小さな遮蔽物に対して頑健であることが示され、スケーリングや局所的な干渉の処理において進展が見られた。
• 性別や年齢による顕著なバイアスは検出されず、現在のモデルが人口統計的グループに系統的に偏っていないことを示唆している。
• 専門家による検証済みラベルを備えたバリデーションセットは、ノイズの多いデータからの学習の重要性を浮き彫りにし、信頼性の低いトレーニングデータにおけるパフォーマンス向上に共激活パターンモデリングが有効である可能性を示唆している。