[論文レビュー] Multi-Region Ensemble Convolutional Neural Network for Facial Expression Recognition

Yingruo Fan, Jacqueline C. K. Lam+1 more|arXiv (Cornell University)|Jul 12, 2018

Face and Expression Recognition参考文献 11被引用数 13

ひとこと要約

本稿では、複数の顔部分領域からグローバルおよびローカル特徴を抽出・統合するための、別個のCNNサブネットワークを用いたマルチリージョンアンサンブル畳み込みニューラルネットワーク（MRE-CNN）を提案する。その後、予測結果を重み付けして統合することで、顔の表情認識の性能を向上させる。本手法は、空間的に局所化された顔の手がかりを効果的にモデル化しつつも、全体的な文脈を保持することで、AFEW 7.0およびRAF-DBデータセットで最先端の精度を達成した。

ABSTRACT

Facial expressions play an important role in conveying the emotional states of human beings. Recently, deep learning approaches have been applied to image recognition field due to the discriminative power of Convolutional Neural Network (CNN). In this paper, we first propose a novel Multi-Region Ensemble CNN (MRE-CNN) framework for facial expression recognition, which aims to enhance the learning power of CNN models by capturing both the global and the local features from multiple human face sub-regions. Second, the weighted prediction scores from each sub-network are aggregated to produce the final prediction of high accuracy. Third, we investigate the effects of different sub-regions of the whole face on facial expression recognition. Our proposed method is evaluated based on two well-known publicly available facial expression databases: AFEW 7.0 and RAF-DB, and has been shown to achieve the state-of-the-art recognition accuracy.

研究の動機と目的

• グローバルおよびローカルな顔の特徴を領域別にモデル化することで、顔の表情認識の精度を向上させること。
• 例えば目や口などの異なる顔の部分領域が、表情認識性能に果たす寄与度を調査すること。
• 複数のサブネットワークからの予測結果を統合する重み付けアンサンブル戦略を構築し、より高い耐性と精度を実現すること。
• 標準ベンチマークデータセットを用いて、提案されたMRE-CNNフレームワークの有効性を検証すること。

提案手法

• 入力された顔画像を複数の空間的サブ領域（例：目、鼻、口、頬など）に分割し、局所的特徴を抽出する。
• 各サブ領域に対して、専用の2次元畳み込みニューラルネットワーク（サブネットワーク）を用いて、領域特有の表現を学習する。
• サブネットワークの性能に基づいた重み付け平均化戦略を用いて、各サブネットワークの特徴を統合し、予測の信頼性を向上させる。
• 最終的な予測は、すべてのサブネットワークの重み付け出力を集約することで生成され、全体の分類精度が向上する。
• モデルは、交差エントロピー損失と確率的勾配降下法を用いてエンドツーエンドで訓練される。
• 本手法は、標準的な指標（正確度、F1スコアなど）を用いて、2つの公開データセット（AFEW 7.0およびRAF-DB）で評価された。

実験結果

リサーチクエスチョン

• RQ1 異なる顔のサブ領域が、特定の顔の表情認識にどのように寄与しているか？
• RQ2 複数の顔の局所的領域を並列にモデル化することで、表情認識のためのCNNの識別力を向上させることができるか？
• RQ3 複数の領域特化サブネットワークからの予測結果を最適に統合する方法は何か？
• RQ4 提案されたMRE-CNNフレームワークは、標準的な顔の表情認識データセットで、既存の最先端手法を上回っているか？

主な発見

• MRE-CNNフレームワークは、AFEW 7.0データセットで最先端の認識精度を達成し、従来手法を上回った。
• モデルはRAF-DBでも優れた性能を示し、論文発表当時、類似する深層学習手法の中で報告された最高の正確度を達成した。
• アブレーションスタディにより、口および目の領域が表情認識に最も顕著に寄与していることが確認され、領域ベースの設計の有効性が裏付けられた。
• サブネットワークの予測結果を重み付けして統合することで、単純平均や単一ネットワークベースラインと比較して、常に最終的な正確度が向上した。
• アンサンブルアーキテクチャは、グローバルな文脈とローカルな詳細のバランスを効果的にとらえ、過学習を低減し、一般化性能を向上させた。