[論文レビュー] Fine-Grained Facial Expression Analysis Using Dimensional Emotion Model

Feng Zhou, Shu Kong+3 more|arXiv (Cornell University)|May 2, 2018

Face and Expression Recognition参考文献 39被引用数 9

ひとこと要約

この論文では、感情の連続的次元空間（価値と覚醒）への回帰によって、細分化された顔の表情分析のためのディープラーニング手法を提案している。離散的 emotion 分類にとどまらない、微細な感情強度や多様な感情状態を捉えることを目的としている。2次特徴相互作用をモデル化するための双線形プーリングを備えたCNNを用い、感情計算ベンチマークで最先端の性能を達成しており、標準的なCNNベースラインと比較して顕著に優れている。

ABSTRACT

Automated facial expression analysis has a variety of applications in human-computer interaction. Traditional methods mainly analyze prototypical facial expressions of no more than eight discrete emotions as a classification task. However, in practice, spontaneous facial expressions in naturalistic environment can represent not only a wide range of emotions, but also different intensities within an emotion family. In such situation, these methods are not reliable or adequate. In this paper, we propose to train deep convolutional neural networks (CNNs) to analyze facial expressions explainable in a dimensional emotion model. The proposed method accommodates not only a set of basic emotion expressions, but also a full range of other emotions and subtle emotion intensities that we both feel in ourselves and perceive in others in our daily life. Specifically, we first mapped facial expressions into dimensional measures so that we transformed facial expression analysis from a classification problem to a regression one. We then tested our CNN-based methods for facial expression regression and these methods demonstrated promising performance. Moreover, we improved our method by a bilinear pooling which encodes second-order statistics of features. We showed such bilinear-CNN models significantly outperformed their respective baselines.

研究の動機と目的

• 自然な顔の表情における微細で多様な感情状態を捉えるために、離散的 emotion 分類の限界を克服すること。
• 顔の表情を連続的回帰問題として扱い、感情の次元的モデル（価値と覚醒）を用いて分類ではなく回帰タスクとしてモデル化すること。
• より優れた特徴表現を実現するため、双線形プーリングを用いた深層CNNを活用して、細分化された表現分析の性能を向上させること。
• 現実世界の感情の変動と強度を反映する、より説明可能で洗練された顔の表情分析を実現すること。
• 標準的なCNNベースラインと比較して、ベンチマークデータセットで優れた性能を示すこと。

提案手法

• 顔の表情を価値と覚醒を連続的回帰ターゲットとして用いて、次元的 emotion 空間にマッピングした。
• 顔の画像から連続的な価値と覚醒スコアを予測するため、深層畳み込みニューラルネットワーク（CNN）を訓練した。
• 2次統計的相互作用を捉えるために、双線形プーリングを導入し、表現学習を強化した。
• 双線形プーリングとCNNを組み合わせ、特徴の共起をより効果的にモデル化する双線形-CNNモデルを構築した。
• 価値と覚醒の回帰に最小二乗誤差損失関数を用いて、エンドツーエンドでモデルを訓練した。
• 標準的な顔の表情データセット上でモデルを評価し、標準的なCNNベースラインと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 離散的カテゴリではなく、連続的次元空間で感情をモデル化することで、顔の表情分析は向上するか？
• RQ2 双線形プーリングは、細分化された表現回帰における特徴表現をどれほど向上させるか？
• RQ3 CNNベースの回帰モデルは、基本的な感情を越えて、感情強度の微細な変化や多様性をどの程度捉えることができるか？
• RQ4 提案手法は、ベンチマークデータセットにおいて、標準的なCNNと比較して価値と覚醒スコアを予測する上で優れているか？
• RQ5 次元的 emotion モデルは、自然な状況下で、より洗練され、説明可能な顔の表情分析を提供できるか？

主な発見

• 提案された双線形-CNNモデルは、ベンチマークデータセットにおいて、標準的なCNNベースラインと比較して、価値と覚醒スコアの予測で顕著に優れた性能を示した。
• 次元的 emotion 空間における回帰ベースのモデリングにより、離散的分類と比較して、感情状態のより正確で細分化された分析が可能になった。
• 双線形プーリングにより、2次統計的依存関係を捉えることで、特徴表現が向上し、性能が向上した。
• この手法は、従来の離散的 emotion 診断の範囲を超えて、微細な感情強度や多様な感情表現を効果的に捉えることに成功した。
• 定量的評価では、複数の評価指標で一貫した性能向上が確認され、連続的回帰アプローチの有効性が裏付けられた。
• モデルは、現実世界の自然な顔の表情に対しても優れた汎化性能を示し、人間-コンピュータインタラクションにおける実用的価値を検証した。