[論文レビュー] Exploiting Facial Landmarks for Emotion Recognition in the Wild

Matthew Day|arXiv (Cornell University)|Mar 30, 2016

Emotion and Mood Recognition参考文献 17被引用数 11

ひとこと要約

この論文では、顔面のランドマーク間距離のみを用いて、EmotiW2015 チャレンジのベースラインを上回る優れた性能を達成する、軽量でランドマークベースの感情認識手法を提示している。顔面ランドマークの局所化を改善し、顔の主要なポイント間の幾何的関係を活用することで、最小限の複雑性で高い正確性を実現した。本研究は、制約のない環境において単純な幾何的特徴が非常に有効であることを示している。

ABSTRACT

In this paper, we describe an entry to the third Emotion Recognition in the Wild Challenge, EmotiW2015. We detail the associated experiments and show that, through more accurately locating the facial landmarks, and considering only the distances between them, we can achieve a surprising level of performance. The resulting system is not only more accurate than the challenge baseline, but also much simpler.

研究の動機と目的

• 制約のない、現実世界の動画データ（in the wild）における感情認識の性能を向上させること。
• 現実世界の顔のデータにおけるポーズ、照明、表情の変動という課題に対処すること。
• 顔面ランドマーク間の幾何的関係に焦点を当てることで、EmotiW2015 ベースラインよりも単純でより正確なシステムを構築すること。
• 顔面ランドマーク間の距離が感情認識の特徴としての判別力を持つかどうかを評価すること。
• 複雑なディープラーニングアーキテクチャを用いずに、高い性能を達成できることを示すこと。

提案手法

• 正確な顔面ランドマークの位置特定を実現する、頑健な顔面ランドマーク検出アルゴリズムを用いる。
• 事前に定義された顔面ランドマーク間の距離を、主な特徴表現として計算する。
• システムはランドマーク間の幾何的関係にのみ依存し、複雑な外観やテクスチャ特徴を避ける。
• 最終的な感情予測は、ランドマーク間距離ベクトル上で学習された分類器に基づく。
• 計算効率が良く、ポーズや照明の変化に対しても頑健であるように設計されている。
• ディープニューラルネットワークを使用せず、ランドマークから導出された手作業による幾何的特徴に依存している。

実験結果

リサーチクエスチョン

• RQ1 顔面ランドマーク間の距離のみで、制約のない条件下でも強力な性能を達成できるか？
• RQ2 顔面ランドマークの局所化の改善が、制約のない環境における感情認識の正確性にどのように寄与するか？
• RQ3 単純な幾何的特徴セットが、現実世界の感情認識において、より複雑なモデルをどれほど上回れるか？
• RQ4 軽量でディープラーニングを用いないアプローチが、EmotiW2015 チャレンジで最先端の性能を達成できるか？
• RQ5 このシステムは、多様なポーズ、照明、顔の表情の変化に対してどれほど一般化できるか？

主な発見

• システムは EmotiW2015 チャレンジのベースラインを上回る性能を達成し、幾何的特徴の有効性を示した。
• 顔面ランドマークの局所化の改善が、全体の性能向上に顕著に寄与した。
• ランドマーク間の距離のみを用いても高い正確性を達成したため、強力な結果を得るには複雑なモデルが必ずしも必要でないことが証明された。
• ベースラインのアプローチよりもはるかに単純で、構成要素が少なく、計算コストも低い。
• 結果から、制約のない環境における感情認識において、顔面ランドマーク間の幾何的関係が非常に判別力があることが示された。
• このアプローチは、チャレンジでより複雑な手法を上回った。正確なランドマーク検出と最小限の特徴工学の価値が浮き彫りになった。