[論文レビュー] Facial Expression Recognition with Deep Learning

Amil Khanzada, Charles Bai+1 more|arXiv (Cornell University)|Apr 8, 2020

Emotion and Mood Recognition参考文献 15被引用数 25

ひとこと要約

この論文は、複数の最先端のモデルを用いた深層学習的手法を提案し、FER2013テストセットで75.8%の精度を達成した。これは、これまでのあらゆる出版物を上回るものである。さらに、モデルを端末上で実行するモバイルWebアプリケーションを通じてリアルタイム推論を実現し、実世界の環境における実用的導入可能性を向上させた。

ABSTRACT

One of the most universal ways that people communicate is through facial expressions. In this paper, we take a deep dive, implementing multiple deep learning models for facial expression recognition (FER). Our goals are twofold: we aim not only to maximize accuracy, but also to apply our results to the real-world. By leveraging numerous techniques from recent research, we demonstrate a state-of-the-art 75.8% accuracy on the FER2013 test set, outperforming all existing publications. Additionally, we showcase a mobile web app which runs our FER models on-device in real time.

研究の動機と目的

• 既存の深層学習手法を上回る顔の感情認識（FER）の精度を向上させること。
• スマートフォン上でリアルタイムにFERを実行できる実装可能なシステムを開発すること。
• 高精度なモデルと実用的で端末内での応用の間のギャップを埋めること。
• 最近の深層学習技術を活用して、FER2013ベンチマークにおけるパフォーマンスを最適化すること。
• モバイルWebアプリケーションを通じてエンドツーエンドのリアルタイム推論を実証すること。

提案手法

• 著者は、顔の感情認識に特化した複数の深層学習アーキテクチャを実装および評価した。
• 最近の研究から得た高度な技術を応用し、FER2013データセットにおけるモデル性能を最適化した。
• 最終的なモデルは、低遅延性とプライバシー保護を確保するため、端末内推論を用いてモバイルWebアプリケーションにデプロイされた。
• モデル学習は、モバイルデプロイメントに適した効率性を維持しながら、精度を最大化することを目的とした。
• スマートフォン上でリアルタイムの顔の感情分類を可能にするために、軽量な推論パイプラインを採用した。
• 転移学習とデータ拡張戦略を統合することで、モデルの頑健性と一般化性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 最新の深層学習技術を用いた場合、FER2013ベンチマークで達成可能な最高の精度は何か？
• RQ2 高精度なFERモデルを、スマートフォン上で効率的にリアルタイム推論可能にデプロイできるか？
• RQ3 最近の深層学習の進展は、従来の手法と比較して、顔の感情認識パフォーマンスにどのように寄与するか？
• RQ4 スマートフォンへのデプロイにおいて、モデルの精度と推論効率の間にはどのようなトレードオフがあるか？
• RQ5 完全に端末内でのリアルタイムFERシステムを構築し、効果的にデモンストレーションできるか？

主な発見

• 提案されたモデルは、FER2013データセットで75.8%という最先端のテスト精度を達成し、これまでに発表されたあらゆる結果を上回った。
• モデルは、クラウド処理に依存せずに、端末上で実行されるモバイルWebアプリケーションに正常にデプロイされ、リアルタイム推論が可能となった。
• 低遅延性のパフォーマンスを示し、ヒューマンコンピュータインタラクションや感情的コンピューティングなどの実世界の応用に適していた。
• 高度な深層学習技術の統合により、ベースラインモデルと比較して顔認識精度が顕著に向上した。
• 端末内推論により、ユーザーのプライバシーが保護され、ネットワーク接続への依存が低減した。
• 結果から、スマートフォン用FERシステムにおいて、高精度とリアルタイム性能を同時に達成できることが確認された。