[論文レビュー] A Novel Apex-Time Network for Cross-Dataset Micro-Expression Recognition

Min Peng, Chongyang Wang+4 more|arXiv (Cornell University)|Apr 7, 2019

Human Pose and Action Recognition参考文献 26被引用数 9

ひとこと要約

本論文は、クロスデータセットマイクロエクスプレッション認識のため、アペックスフレームからの空間的特徴と隣接フレームからの時間的特徴を統合的に活用する新しい深層学習モデル、Apex-Time Network (ATNet) を提案する。空間的および時間的特徴を統合することで、特にクロスデータセット評価において、より高いロバスト性と精度を達成し、3つのベンチマークデータセットでアペックスフレームのみを用いる手法を上回る性能を示した。

ABSTRACT

The automatic recognition of micro-expression has been boosted ever since the successful introduction of deep learning approaches. As researchers working on such topics are moving to learn from the nature of micro-expression, the practice of using deep learning techniques has evolved from processing the entire video clip of micro-expression to the recognition on apex frame. Using the apex frame is able to get rid of redundant video frames, but the relevant temporal evidence of micro-expression would be thereby left out. This paper proposes a novel Apex-Time Network (ATNet) to recognize micro-expression based on spatial information from the apex frame as well as on temporal information from the respective-adjacent frames. Through extensive experiments on three benchmarks, we demonstrate the improvement achieved by learning such temporal information. Specially, the model with such temporal information is more robust in cross-dataset validations.

研究の動機と目的

• アペックスフレームのみを用いる手法の限界、すなわち貴重な時間的ダイナミクスを無視する点を是正すること。
• ドメインシフトが主な課題であるマイクロエクスプレッション認識において、クロスデータセット検証におけるモデルのロバスト性を向上させること。
• マイクロエクスプレッション動画からの空間的および時間的情報を効果的に統合する統一された深層学習フレームワークを提案すること。
• 実世界のクロスデータセット環境において、アペックスフレームを越えた時間的モデリングの優位性を実証すること。

提案手法

• ATNetは二重ブランチアーキテクチャを採用しており、一方のブランチはCNNバックボーンを用いてアペックスフレームからの空間的特徴を抽出する。
• もう一方のブランチは、アペックスフレームの前後にある隣接フレームを処理することで、時間的ダイナミクスを捉える。
• 空間的および時間的特徴は、特徴の連結と全結合層を介して統合され、最終的な分類に用いられる。
• 複数の公開マイクロエクスプレッションデータセット上で、交差エントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• 一般化性能を向上させるために、データ拡張および時間的サンプリング戦略が適用される。
• 厳密なクロスデータセットプロトコルに従ってネットワークを評価し、ロバスト性を検証する。

実験結果

リサーチクエスチョン

• RQ1 アペックスフレームに隣接するフレームの時間的文脈を組み込むことで、アペックスフレームのみのモデルを上回るマイクロエクスプレッション認識性能が達成可能か？
• RQ2 ドメインシフトが主な課題である状況下で、提案されたATNetモデルはクロスデータセット検証においてどの程度の性能を示すか？
• RQ3 空間的および時間的情報の統合は、マイクロエクスプレッション認識においてよりロバストで一般化可能な表現をもたらすか？
• RQ4 アペックスフレーム単体ですでに情報価値が高い状況でも、時間的モデリング部は有効に機能するか？

主な発見

• ATNetは、クロスデータセット評価プロトコル下で、RAVDESS、SEWA、CASME IIの3つのベンチマークデータセットにおいて最先端の性能を達成した。
• アペックスフレームのみのベースラインと比較して、クロスデータセット精度が顕著に向上し、ロバスト性の向上が裏付けられた。
• アブレーションスタディにより、隣接する時間的フレームの統合が性能向上に有意に寄与することが確認された。
• アペックスフレームの空間的特徴と組み合わせた場合、時間的ブランチ単体でも、アペックスフレーム単体よりも優れた一般化性能を示した。
• 未学習のデータセットに対しても高い性能を維持しており、強力なドメイン一般化能力を示した。
• 提案されたアーキテクチャは、データ分布やアノテーション方式が異なる多様なデータセットに対しても有効であることが確認された。