[論文レビュー] Face-GPS: A Comprehensive Technique for Quantifying Facial Muscle Dynamics in Videos

Juni Kim, Zhikang Dong+1 more|arXiv (Cornell University)|Jan 11, 2024

Facial Nerve Paralysis Treatment and ResearchMedicine被引用数 3

ひとこと要約

Face-GPS は、微分幾何学、カーネルスムージング、スペクトル解析を用いて、標準的な動画記録から顔面筋活動の動的変化を定量化する、新規で解釈可能な手法を提案する。顔面特徴点を標準化された顔面多様体にマッピングし、光流に基づくマルチカーネルスムージングを適用することで、CK+ データセット上で感情分類に 86.1% の正確性を達成し、fEMG やブラックボックス型ディープラーニングモデルの代替として、非侵襲的かつアクセス可能な選択肢を提供する。

ABSTRACT

We introduce a novel method that combines differential geometry, kernels smoothing, and spectral analysis to quantify facial muscle activity from widely accessible video recordings, such as those captured on personal smartphones. Our approach emphasizes practicality and accessibility. It has significant potential for applications in national security and plastic surgery. Additionally, it offers remote diagnosis and monitoring for medical conditions such as stroke, Bell's palsy, and acoustic neuroma. Moreover, it is adept at detecting and classifying emotions, from the overt to the subtle. The proposed face muscle analysis technique is an explainable alternative to deep learning methods and a non-invasive substitute to facial electromyography (fEMG).

研究の動機と目的

• スマートフォンなどの標準的な動画記録から顔面筋活動を実用的かつアクセス可能な方法で定量化する手法の開発。
• fEMG や FACS の限界を克服し、非侵襲的で遠隔的かつスケーラブルな顔面筋活動分析を可能にする。
• ディープラーニングベースの顔認識の解釈性を向上させるために、標準化された顔面多様体上での光流とカーネルスムージングの統合。
• 臨床およびセキュリティ用途に向けた、正確で自動化された顔の表情および筋肉運動の分類を実現する。
• 頭部の動きや背景の変動といった混同要因を低減する、頑健なノイズフィルタリングフレームワークの提供。

提案手法

• MediaPipe を用いて顔面特徴点を抽出し、頭部の動きや背景の変動を補正するため、標準化された顔面多様体にマッピングする。
• 3,681 個の特徴点を有する 854 つの三角形からなるトライアングル化された顔面多様体を構築し、顔面筋領域を高密度にカバーする。
• 連続フレーム間のピクセルの変位を追跡するため、光流を計算し、その後、ガウス RBF カーネルを用いたマルチカーネルスムージング（MKS）フレームワークで平滑化する。
• MKS アプローチは、顔面筋特徴記述子からの重み付きカーネル応答を組み合わせるもので、重みは事前学習済みの FAN モデル（表情認識用）から導出される。
• 変位ベクトルは、逆アフィン変換を用いてカルテシアン座標系に変換され、筋肉の動きの大きさと方向を定量化する。
• 最終出力は、動画上に重ねて表示される動的なベクトル場（ヒートマップに類似）であり、フレームごとの筋肉運動の方向と強度を可視化する。

実験結果

リサーチクエスチョン

• RQ1 標準的な動画記録から、特別な機器を用いずに顔面筋活動の動的変化を正確に定量化できるか？
• RQ2 標準化された顔面多様体上での光流処理は、頭部の動きや背景ノイズに対してどのように耐性を高めるか？
• RQ3 マルチカーネルスムージングは、顔面筋活動検出の解釈性と正確性をどの程度向上させるか？
• RQ4 視覚的外見の手がかりを一切用いずに、顔面筋の変位特徴量のみで高い正確性の感情分類が可能か？
• RQ5 ディープラーニングベースの特徴量重みの統合は、特定の顔面行動への感受性をどの程度向上させるか？

主な発見

• Face-GPS は、視覚的外見データを一切使用しない状態で、CK+ データセットにおいて平均 85.0% の分類正確性を達成した。
• FAN ベースのカーネル重み付けを組み込むことで、正確性は 86.1% に向上し、ディープラーニングの事前知識統合の価値を示した。
• 本手法は、喜びにおける口角の引き上げや、恐怖における眉の挙上といった、明確な行動単位（Action Units）を的確に同定できた。
• マルチカーネルスムージング手法は、ノイズを効果的に低減しながら、動画シーケンス内の意味のある筋肉運動パターンを保持した。
• 可視化出力である動的なベクトル場は、フレームごとの顔面筋の変位の大きさと方向を正確に表現した。
• 本フレームワークは、脳卒中、ベル麻痺、聴神経腫瘍などの診断に適した、遠隔的かつ非侵襲的な顔面筋活動のモニタリングを可能にした。