[論文レビュー] Visual Saliency Maps Can Apply to Facial Expression Recognition

Zhenyue Qin, Jie Wu|arXiv (Cornell University)|Nov 12, 2018

Visual Attention and Saliency Detection参考文献 28被引用数 13

ひとこと要約

本稿では、一般用途の深層学習顕著マップ生成モデルによって得られた視覚的顕著マップのみを用いて、7つの感情に顔の表情を分類する、新しい半教師ありアプローチを提案する。顔画像を直接学習に使用していないにもかかわらず、CK+データセットでは63%の精度を達成し、FER-2013では50%の精度を示し、1/7の確率的水準を著しく上回っており、顕著マップベースと画像ベースの分類精度の間に強い相関（r > 0.8）が認められ、人間が異なる顔の領域に注目することで感情を認識している可能性を示唆している。

ABSTRACT

Human eyes concentrate different facial regions during distinct cognitive activities. We study utilising facial visual saliency maps to classify different facial expressions into different emotions. Our results show that our novel method of merely using facial saliency maps can achieve a descent accuracy of 65\%, much higher than the chance level of $1/7$. Furthermore, our approach is of semi-supervision, i.e., our facial saliency maps are generated from a general saliency prediction algorithm that is not explicitly designed for face images. We also discovered that the classification accuracies of each emotional class using saliency maps demonstrate a strong positive correlation with the accuracies produced by face images. Our work implies that humans may look at different facial areas in order to perceive different emotions.

研究の動機と目的

• 視覚的顕著マップのみを用いて、顔画像を直接使用せずに顔の表情を効果的に分類できるかを調査すること。
• 顕著マップベースの分類を通じて、人間の視線固定パターンと感情認識の関係を明らかにすること。
• 事前学習済みの顕著マップモデルを活用する半教師ありアプローチの感情認識性能を評価すること。
• 顕著マップベース分類と従来の画像ベース手法との間に強い相関があるかを検証すること。
• 人間が異なる顔の領域に注目することで、明確に区別される感情をどのように認識しているかの洞察を提供すること。

提案手法

• SALICON、MIT1003、CAT2000データセットから得られた事前学習済みの深層学習顕著検出モデルを用い、顔画像から微調整なしに顕著マップを生成した。
• 顕著マップを、7つの顔の感情を識別するための全結合ニューラルネットワーク分類器の入力特徴量として扱った。
• FER-2013およびCK+データセットで学習を行い、それぞれ学習率0.01、CK+では250エポック、FER-2013では60エポックを設定し、CK+では10-fold交差検証を実施した。
• FER-2013およびCK+の公開および非公開テスト分割に対して、精度と混同行列を用いて分類性能を評価した。
• 顕著マップベースと元の画像ベース分類結果の対角精度値の間にピアソン相関係数を計算した。
• このアプローチは半教師ありである。顕著マップモデルは顔の表情データに明示的に訓練されておらず、多様な画像カテゴリで学習されたものである。

実験結果

リサーチクエスチョン

• RQ1 一般用途の顕著マップ予測モデルによって生成された顕著マップのみを用いて、顔の表情認識を効果的に行うことができるか？
• RQ2 顕著マップを用いた分類精度と、元の顔画像を用いた分類精度との間に強い相関があるか？
• RQ3 異なる感情表現が、人間の視線固定行動に対応する明確な顕著パターンを引き起こすか？
• RQ4 顕著マップは、人間の感情認識メカニズムを理解するための代理指標として機能できるか？
• RQ5 顕著マップベース分類の性能は、感情クラスごとに異なるか。もしそうなら、その理由は何か？

主な発見

• 提案手法は、FER-2013の非公開テストセットで50%の精度、CK+データセットで63%の精度を達成し、いずれも約14.3%の1/7の確率的水準を著しく上回った。
• FER-2013非公開テストセットにおいて、顕著マップベース分類結果と画像ベース分類結果の間に強い正の相関（r = 0.9450）が認められた。
• FER-2013公開テストでは顕著マップと画像ベースの精度のピアソン相関係数が0.9277、CK+では0.8080であった。これは分類性能の高い一貫性を示している。
• 混同行列の結果、喜びと驚きは顕著マップを用いた分類で最も明確に識別されたが、軽蔑は視覚的注意パターンが嫌悪や喜びと類似しているため、うまく認識されなかった可能性がある。
• 結果から、人間が異なる顔の領域に注目することで、異なる感情を認識している可能性が示唆され、顕著パターンと感情認識の間の整合性が裏付けられた。
• 本研究では、顔画像データを直接使用しない状況でも、顕著マップが感情認識の有効かつ解釈可能な表現として機能できることを示した。