[論文レビュー] Deep Learning for Micro-expression Recognition: A Survey

Yante Li, Jinsheng Wei+3 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Computing and Algorithms被引用数 5

ひとこと要約

本調査は、深層学習（DL）に基づく微表情認識（MER）について、データセット、DLパイプライン、アーキテクチャ、損失関数、トレーニング戦略を網羅的にレビューする。DL-MERのための新規分類法を提示し、小規模かつ低強度のデータといった主な課題を特定し、マルチモーダル統合、説明可能性、現実世界における耐性についての今後の方向性を提示する。本調査は、分野における最初の体系的かつ包括的な調査である。

ABSTRACT

Micro-expressions (MEs) are involuntary facial movements revealing people's hidden feelings in high-stake situations and have practical importance in medical treatment, national security, interrogations and many human-computer interaction systems. Early methods for MER mainly based on traditional appearance and geometry features. Recently, with the success of deep learning (DL) in various fields, neural networks have received increasing interests in MER. Different from macro-expressions, MEs are spontaneous, subtle, and rapid facial movements, leading to difficult data collection, thus have small-scale datasets. DL based MER becomes challenging due to above ME characters. To date, various DL approaches have been proposed to solve the ME issues and improve MER performance. In this survey, we provide a comprehensive review of deep micro-expression recognition (MER), including datasets, deep MER pipeline, and the bench-marking of most influential methods. This survey defines a new taxonomy for the field, encompassing all aspects of MER based on DL. For each aspect, the basic approaches and advanced developments are summarized and discussed. In addition, we conclude the remaining challenges and and potential directions for the design of robust deep MER systems. To the best of our knowledge, this is the first survey of deep MER methods, and this survey can serve as a reference point for future MER research.

研究の動機と目的

• 2016年以降の深層学習ベースの微表情認識（MER）手法について体系的なレビューを提供すること。
• 認識パイプラインの全段階をカバーするDL-MERの新しい分類法を確立すること。
• MERにおける動的入力、ネットワークブロック、トレーニング戦略、損失関数の強みと限界を分析すること。
• データ不足、モデルの耐性、現実世界への展開に関する主な課題を特定すること。
• プライバシー、データバイアス、MERシステムにおける透明性といった倫理的懸念について議論すること。

提案手法

• 本調査は、IEEE TPAMI や ACM MM などのトップジャーナルおよび会議で発表された100篇以上のDLベースのMER論文を体系的に分析する。
• 3D CNN、RNN、Transformer、ハイブリッドモデルを含むMERで用いられるDLアーキテクチャを分類・評価する。
• 光流、LBP-TOP、および生動画フレームといった入力表現を検討し、微細な顔面運動を捉える有効性を評価する。
• データ拡張、転移学習、クロスエントロピー損失やトリプレット損失といった損失関数を含むトレーニング戦略をレビューする。
• CASME II、SAMER、MFED などのベンチマークデータセットを用いて、最先端モデルの性能を比較評価する。
• マルチモーダル統合（例：顔面信号と生理的信号の統合）や軽量なマルチストリームネットワークといった新たなトレンドを議論する。

実験結果

リサーチクエスチョン

• RQ1 現代のMERシステムで用いられる主な深層学習アーキテクチャと入力表現は何か。それらは性能面でどのように比較されるか？
• RQ2 トレーニング戦略と損失関数は、MERモデルの耐性と精度にどのように影響を与えるか？
• RQ3 小規模・低強度・ノイズが多い微表情データの影響により、MERで生じる主な課題は何か？
• RQ4 顔面信号と生理的信号の組み合わせといったマルチモーダルデータは、MERの性能と一般化能力をどのように向上させるか？
• RQ5 MERにおいて生じる倫理的・プライバシー上の懸念は何か。研究および実世界応用においてそれらをどのように軽減できるか？

主な発見

• 本調査では、3D CNNとアテンションベースのモデル（例：Transformer）が、微表情の空間的・時間的ダイナミクスを捉える上で最も効果的であると特定された。
• 光流とLBP-TOP特徴量は、小規模データセットにおいて運動感度を向上させることで、性能の向上に顕著な寄与を示した。
• データ拡張と転移学習は、限られたトレーニングデータの下で一般化性能を向上させるために不可欠である。
• 顔面信号と生理的信号を統合するマルチモーダル統合は、耐性と精度の向上に有望である。
• 現在のDLベースのMERシステムは、ポーズの変化、照明の変化、および同時に発生するマクロエクスプレッションの影響により、現実世界への展開に困難を抱えている。
• プライバシー、データバイアス、モデルの透明性といった倫理的懸念は、MERシステムの責任ある展開を阻害する主要な障壁である。