[論文レビュー] Recognizing Micro-Expression in Video Clip with Adaptive Key-Frame Mining

Min Peng, Chongyang Wang+5 more|arXiv (Cornell University)|Sep 19, 2020

Video Analysis and Summarization参考文献 50被引用数 8

ひとこと要約

本稿では、微表情動画クリップから特徴的な時空間的特徴を捉えるために、適応的に入力フレームを抽出するエンド・ツー・エンドのディーブラーニングモデルAKMNetを提案する。自己学習による局所的キーフレームとそのグローバルな時間的ダイナミクスを組み合わせることで、専門家がアノテートした頂点フレームに依存せずに、ベンチマークデータセット上で最先端の手法を上回る認識精度を達成する。

ABSTRACT

As a spontaneous expression of emotion on face, micro-expression reveals the underlying emotion that cannot be controlled by human. In micro-expression, facial movement is transient and sparsely localized through time. However, the existing representation based on various deep learning techniques learned from a full video clip is usually redundant. In addition, methods utilizing the single apex frame of each video clip require expert annotations and sacrifice the temporal dynamics. To simultaneously localize and recognize such fleeting facial movements, we propose a novel end-to-end deep learning architecture, referred to as adaptive key-frame mining network (AKMNet). Operating on the video clip of micro-expression, AKMNet is able to learn discriminative spatio-temporal representation by combining spatial features of self-learned local key frames and their global-temporal dynamics. Theoretical analysis and empirical evaluation show that the proposed approach improved recognition accuracy in comparison with state-of-the-art methods on multiple benchmark datasets.

研究の動機と目的

• 微表情認識におけるフルビデオ表現の冗長性を解消すること。
• 専門家によるアノテーションに依存する単一頂点フレーム手法の限界を克服し、時間的ダイナミクスを損なわないようにすること。
• 微表情における一時的な顔の動きを自動で局所化し、認識するエンド・ツー・エンドのフレームワークを開発すること。
• 局所的キーフレームとそのグローバルな時間的文脈を組み合わせることで、特徴的な時空間的表現を学習すること。
• 手動アノテーションへの依存度を低減しつつ、認識精度を向上させること。

提案手法

• AKMNetは、学習された時空間的重要度に基づいて微表情動画クリップから顕著なフレームを特定する適応的キーフレーム抽出モジュールを採用する。
• ネットワークは、自己特定されたキーフレームから畳み込みバックボーンを用いて空間的特徴を抽出する。
• 時間的ダイナミクスは、抽出されたキーフレームの系列を用いて時間モデリングモジュールで特徴を統合することでモデル化される。
• アーキテクチャはエンド・ツー・エンドで訓練され、キーフレーム選択と感情分類を同時に最適化する。
• 異なる感情クラス間の特徴の区別能を高めるために対照的損失が用いられる。
• 局所的外観とグローバルな時間的文脈の両方を活用して、表現学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フルビデオまたは頂点フレームベースラインと比較して、適応的キーフレーム抽出は微表情認識精度を向上させるか？
• RQ2 提案手法は、専門家がアノテートした頂点フレームへの依存度を低減しつつ、時間的ダイナミクスを保持できるか？
• RQ3 自己学習によるキーフレームは、固定または手動で選択されたフレームよりもより特徴的な時空間的特徴を捉えられるか？
• RQ4 局所的キーフレームとグローバルな時間的モデリングの統合は、微表情認識のための特徴表現をどのように向上させるか？
• RQ5 標準ベンチマークデータセット上で、AKMNetは最先端の手法をどの程度上回るか？

主な発見

• AKMNetは、SMAPEやCASME IIを含む複数のベンチマークデータセットで、最先端の手法を上回る高い認識精度を達成した。
• 専門家がアノテートした頂点フレームを必要とせず、適応的キーフレーム選択を活用することで、既存の手法を上回った。
• 実験的評価により、自己学習キーフレームと時間的モデリングの組み合わせが特徴の区別能を向上させることを確認した。
• 理論的分析により、一時的な顔の動きを捉えるために適応的抽出機構の有効性が示された。
• アブレーションスタディにより、空間的特徴学習と時間的ダイナミクスモデリングの両方が全体の性能向上に寄与することが検証された。
• 本手法は多様な微表情データセットに対して高いロバスト性を示し、汎化能力があることが示された。