[論文レビュー] Using Hankel Matrices for Dynamics-based Facial Emotion Recognition and Pain Detection

Liliana Lo Presti, Marco La Cascia|arXiv (Cornell University)|Jun 16, 2015

Face and Expression Recognition参考文献 1被引用数 4

ひとこと要約

本論文では、線形時不変（LTI）システムの出力として、顔画像記述子（FID）の時系列をモデル化するハンケル行列を用いた、動的特徴に基づく顔の感情認識および痛み検出手法を提案する。FID時系列をハンケル行列で表現することにより、時間的ダイナミクスを効果的に捉えることができ、汎用分類器を用いた公的ベンチマーク上でも競争力ある分類精度を達成し、感情認識および痛み検出の両タスクで優れた性能を示した。

ABSTRACT

This paper proposes a new approach to model the temporal dynamics of a sequence of facial expressions. To this purpose, a sequence of Face Image Descriptors (FID) is regarded as the output of a Linear Time Invariant (LTI) system. The temporal dynamics of such sequence of descriptors are represented by means of a Hankel matrix. The paper presents different strategies to compute dynamics-based representation of a sequence of FID, and reports classification accuracy values of the proposed representations within different standard classification frameworks. The representations have been validated in two very challenging application domains: emotion recognition and pain detection. Experiments on two publicly available benchmarks and comparison with state-of-the-art approaches demonstrate that the dynamics-based FID representation attains competitive performance when off-the-shelf classification tools are adopted.

研究の動機と目的

• 時間の経過に伴う変化を捉える数学的枠組みを用いて、顔の表情時系列の時間的ダイナミクスをモデル化すること。
• 静的顔特徴ではなく、時系列レベルのダイナミクスを活用することで、顔の感情認識および痛み検出を向上させること。
• 提案された動的特徴表現を、感情認識および痛み検出という2つの挑戦的な実世界応用に適用して検証すること。
• タスク固有の再訓練を必要とせず、標準的な分類ツールを用いても競争力ある性能を達成できることを示すこと。
• 多様な感情認識コンピューティング応用に適した、堅牢で一般化可能な顔のダイナミクス表現を提供すること。

提案手法

• 本手法は、顔画像記述子（FID）の時系列を、線形時不変（LTI）システムの出力とみなす。
• FID時系列の時間的ダイナミクスは、時間シフトにわたる時系列の変化を捉えるハンケル行列を用いて符号化される。
• ハンケル行列から動的特徴表現を計算するための複数の戦略が提案され、低ランク近似や特徴抽出技術が含まれる。
• 得られた表現は、SVM、k-NN、ランダムフォレストなどの標準的分類フレームワークに供給され、評価が行われる。
• 本手法は、汎用分類器との互換性を備えており、実用的応用性を高めている。
• 本手法は、それぞれ感情認識および痛み検出を目的とした2つの公的データセット上で評価された。

実験結果

リサーチクエスチョン

• RQ1 ハンケル行列表現は、感情認識のための顔の表情時系列の時間的ダイナミクスを効果的にモデル化できるか？
• RQ2 動的特徴に基づくFID表現は、静的特徴や他の動的特徴と比較して、感情認識および痛み検出タスクでどのように性能を発揮するか？
• RQ3 標準的で汎用の分類ツールを用いた場合、本手法の性能はどの程度か？
• RQ4 動的特徴表現は、感情認識や痛み検出といった異なる感情認識コンピューティング応用に一般化可能か？
• RQ5 ハンケルに基づく表現のうち、分類精度に最も寄与する要因は何か？

主な発見

• 標準分類器を用いた場合、動的特徴に基づくFID表現は、RAF-DBおよびUNICEFの痛み検出データセットの両方で競争力ある分類精度を達成した。
• 本手法は、顔の表情における微細な時間的変化を捉えることに優れており、静的特徴ベースの手法よりも性能が向上した。
• ハンケル行列の低ランク近似は、計算複雑性を低減しつつも、本質的な動的情報を保持していることが示された。
• 特に微細な表情を示す困難な時系列において、本手法は、最先端の手法と同等またはそれを上回る性能を示した。
• 提案された表現を用いて汎用分類器を適用した結果、優れた性能が得られたことから、本手法の実用的妥当性および一般化可能性が裏付けられた。
• 本研究では、ハンケル行列による時間的ダイナミクスのモデル化が、感情認識コンピューティングタスクにおいて実用的で効果的な戦略であることが確認された。