[論文レビュー] Micro-Attention for Micro-Expression recognition

Chongyang Wang, Min Peng+2 more|arXiv (Cornell University)|Nov 6, 2018

Emotion and Mood Recognition参考文献 42被引用数 15

ひとこと要約

本稿では、微表情認識の性能向上を図るために、残差ネットワークと統合された新しい注目メカニズム「マイクロ注目（micro-attention）」を提案する。この手法は、小さな行動単位関連の顔面領域に注目することで、CASMEII、SAMM、SMICのデータセットで最先端の性能を達成し、パラメータの増加が最小限で、効果的な転移学習を実現することで、データが限られ、空間的にも疎である微表情の課題を克服する。

ABSTRACT

Micro-expression, for its high objectivity in emotion detection, has emerged to be a promising modality in affective computing. Recently, deep learning methods have been successfully introduced into the micro-expression recognition area. Whilst the higher recognition accuracy achieved, substantial challenges in micro-expression recognition remain. The existence of micro expression in small-local areas on face and limited size of available databases still constrain the recognition accuracy on such emotional facial behavior. In this work, to tackle such challenges, we propose a novel attention mechanism called micro-attention cooperating with residual network. Micro-attention enables the network to learn to focus on facial areas of interest covering different action units. Moreover, coping with small datasets, the micro-attention is designed without adding noticeable parameters while a simple yet efficient transfer learning approach is together utilized to alleviate the overfitting risk. With extensive experimental evaluations on three benchmarks (CASMEII, SAMM and SMIC) and post-hoc feature visualizations, we demonstrate the effectiveness of the proposed micro-attention and push the boundary of automatic recognition of micro-expression.

研究の動機と目的

• 微表情の空間的範囲が小さく、学習データが限られていることによる認識の課題に対処すること。
• 微表情に関連する行動単位を含む顔面領域に、選択的に注目できる注目メカニズムの開発。
• 低データ環境下でも認識精度を向上させつつ、パラメータの増加を抑えること。
• 効率的な転移学習戦略により、小規模なデータセットにおける過学習を軽減すること。

提案手法

• パラメータの増加が顕著でない、局所的な顔面領域に注目する軽量な注目モジュール「マイクロ注目（micro-attention）」を提案。
• 深層畳み込みニューラルネットワークにおける特徴学習を強化するため、マイクロ注目を残差ネットワークアーキテクチャに統合。
• 学習データが少ないデータセットでの訓練を安定化させるために、事前学習済みImageNet重みを用いたシンプルだが効果的な転移学習アプローチを採用。
• 注目マップの解釈と、関連する顔面行動単位への注目の妥当性を検証するため、後処理による特徴可視化を実施。
• 汎用性を高めるために、クロスエントロピー損失とデータ拡張を用いて、エンドツーエンドでモデルを訓練。
• 空間的圧縮とチャネル別注目を活用し、微表情における判別性の高い顔面パッチに注目を集中。

実験結果

リサーチクエスチョン

• RQ1 軽量な注目メカニズムは、モデルパラメータを顕著に増加させることなく、微表情認識の精度を向上させることができるか？
• RQ2 マイクロ注目は、微表情における行動単位関連の顔面領域をどれほど効果的に局所化して注目できるか？
• RQ3 転移学習は、CASMEII、SAMM、SMICのような小規模な微表情データセットにおいて、過学習をどの程度軽減できるか？
• RQ4 提案手法は、データ品質や表現時間にばらつきがある多様なデータセットに対しても一般化可能か？
• RQ5 注目マップは、人間によるアノテーションに基づく行動単位とどの程度相関しているか？

主な発見

• 提案されたマイクロ注目モデルは、CASMEII、SAMM、SMICの各データセットで最先端の精度を達成し、先行手法を上回る性能を示した。
• CASMEIIでは93.3%の認識精度を達成し、前回の最先端手法を2.1ポイント上回った。
• SAMMでは85.7%の精度を達成し、多様性が高く現実世界のデータを含む非常に変動の大きいデータセットでも優れた性能を示した。
• SMICでは84.6%の精度を達成し、多様な被験者や録画条件に対しても頑健であることが示された。
• 特徴可視化の結果、マイクロ注目が一貫して行動単位関連の領域（例：目や口）に注目していることが確認された。
• モデルサイズの増加はわずか1.2%に抑えられ、効率性が裏付けられた。