[論文レビュー] Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video

B. A. Knyazev, Roman Shvetsov+2 more|arXiv (Cornell University)|Nov 13, 2017

Face recognition and analysis参考文献 14被引用数 48

ひとこと要約

本論文では、大規模な顔認識データセットで事前学習された畳み込みニューラルネットワークのアンサンブルを、動画ベースの感情分類に用いる。最先端の顔認識モデル（VGG-Face および特許取得済みの FR-Nets）を微調整し、SVM を用いて音声特徴と統合することで、時間的モデリングを用いずに EmotiW 2017 テストセットで 60.03% の精度を達成。これは以前の最良結果より 1% が高い結果である。

ABSTRACT

In this paper we describe a solution to our entry for the emotion recognition challenge EmotiW 2017. We propose an ensemble of several models, which capture spatial and audio features from videos. Spatial features are captured by convolutional neural networks, pretrained on large face recognition datasets. We show that usage of strong industry-level face recognition networks increases the accuracy of emotion recognition. Using our ensemble we improve on the previous best result on the test set by about 1 %, achieving a 60.03 % classification accuracy without any use of visual temporal information.

研究の動機と目的

• 強力な事前学習済み顔認識モデルを用いて、動画ベースの感情認識の精度を向上させること。
• 大規模な顔認識事前学習を活用することで、限られたデータ量で不均衡な感情データセットの課題に対処すること。
• 音声特徴および特徴工学的手法（例：拡張、スペクトル特徴）がマルチモーダルな感情認識にどの程度効果的かを調査すること。
• 動画フレームを順序なし集合とみなすことは可能か、動画モデルにおける時間的順序の仮定に疑問を呈すること。
• 研究の促進を目的として、公開可能な特徴リポジトリを構築すること。

提案手法

• FER2013 データセット上で、4 つの深層 CNN（VGG-Face および 3 つの特許取得済み顔認識ネットワーク：FR-Net-A, B, C）を微調整して、感情分類を実行する。
• 全動画フレームに対して、最終層の全結合層（FR-Nets では 1024D、VGG-Face では fc6 層）からフレームレベルの特徴を抽出する。
• 統計的演算（平均、標準偏差）を用いてフレーム特徴を集約し、rootSIFT 正規化とグローバル標準化を適用する。
• 空間特徴と OpenSMILE を用いて抽出した 1582D の音声特徴を統合し、マルチモーダル融合を実現する。
• 訓練データ（テスト提出用に検証データも含む）に対して線形 SVM を学習し、正則化の最適化に 5 折り交差検証を用いる。
• LSTM 学習中にフレームシャッフル拡張を適用し、時間的順序の重要性を評価する。この際、動画を順序なしフレーム集合として扱う。

実験結果

リサーチクエスチョン

• RQ1 数百万枚の画像で事前学習された大規模な顔認識モデルは、リソースが限られた動画ベースの感情認識タスクにおいて性能向上に寄与するか？
• RQ2 音声と深層空間特徴のマルチモーダル統合は、動画ベースの感情分類にどの程度効果的か？
• RQ3 動画フレームの時間的順序は感情認識に重要か、それともフレームを順序なし集合とみなしてもよいのか？
• RQ4 データの不均衡とクラス頻度分布はモデルの汎化性能にどのように影響するか？また、クラスウェイトを用いることで、不均衡なテストセットでの性能向上が図れるか？
• RQ5 高度な特徴工学的手法（例：フーリエ変換特徴、データ拡張）は、性能向上にどのような役割を果たすか？

主な発見

• VGG-Face と FR-Net-A, B, C、および音声特徴のアンサンブルは、EmotiW 2017 テストセットで 60.03% のテスト精度を達成。これは以前の最良結果より 1% が高い。
• テストセットの頻度の平方根に基づくクラスウェイトを用いることで、特に笑顔、ニュートラル、怒りの表情の認識が顕著に向上した。
• LSTM 学習中にフレームシャッフル拡張を適用したところ、検証精度が 46.48% から 50.39% に向上。これは時間的順序が従来の仮定ほど重要でない可能性を示唆している。
• スペクトル特徴（ニューロン活性の 1D フーリエ変換）は検証性能を向上させたが、提出制限のためテストでの評価は不可能だった。
• 強力な産業レベルの顔認識ネットワークの使用により、明示的な時間的モデリングがなくても、従来手法に比べて顕著な性能向上が達成された。
• 本手法は、前年の最良結果（60.03% のテスト精度）およびベースライン（40.47%）を上回った。これは、大規模な顔認識データで事前学習することの価値を示している。