[論文レビュー] Exploring Facial Expressions and Affective Domains for Parkinson Detection

Luis F. Gomez, Aythami Morales+2 more|arXiv (Cornell University)|Dec 11, 2020

Facial Nerve Paralysis Treatment and Research参考文献 47被引用数 4

ひとこと要約

本稿では、感情的ドメイン適応と三重損失を活用した深層学習フレームワークを提案し、動画シーケンスからの顔面表情の分析によってパーキンソン病（PD）の検出を向上させる。感情フェーズ（ニュートラル、発現遷移、頂点、終了遷移、ニュートラル）における動的顔面変化をモデル化することで、単一画像ベースライン比で最大8.9%高い87.3%の正確性を達成。時間的ダイナミクスと感情モデルからの転移学習が、低表情の検出を顕著に向上させることを示している。

ABSTRACT

Parkinson's Disease (PD) is a neurological disorder that affects facial movements and non-verbal communication. Patients with PD present a reduction in facial movements called hypomimia which is evaluated in item 3.2 of the MDS-UPDRS-III scale. In this work, we propose to use facial expression analysis from face images based on affective domains to improve PD detection. We propose different domain adaptation techniques to exploit the latest advances in face recognition and Face Action Unit (FAU) detection. The principal contributions of this work are: (1) a novel framework to exploit deep face architectures to model hypomimia in PD patients; (2) we experimentally compare PD detection based on single images vs. image sequences while the patients are evoked various face expressions; (3) we explore different domain adaptation techniques to exploit existing models initially trained either for Face Recognition or to detect FAUs for the automatic discrimination between PD patients and healthy subjects; and (4) a new approach to use triplet-loss learning to improve hypomimia modeling and PD detection. The results on real face images from PD patients show that we are able to properly model evoked emotions using image sequences (neutral, onset-transition, apex, offset-transition, and neutral) with accuracy improvements up to 5.5% (from 72.9% to 78.4%) with respect to single-image PD detection. We also show that our proposed affective-domain adaptation provides improvements in PD detection up to 8.9% (from 78.4% to 87.3% detection accuracy).

研究の動機と目的

• 顔面表情ダイナミクスを用いた自動的かつ客観的なパーキンソン病検出システムの開発。
• 感情表現の時間的フェーズをモデル化することで、単一画像分析に比べて検出性能が向上するかの調査。
• 顔認識やFAU検出の事前学習モデルからのドメイン適応を活用し、PD検出性能の向上を検討。
• 三重損失が低表情モデリングのための特徴表現をどのように改善するかの評価。
• 軽量モデルがポータブルデバイスへのデプロイに適しているかの可能性の評価。

提案手法

• フレームワークは、顔面の動的変化を捉えるために、5つの感情フェーズ（ニュートラル、発現遷移、頂点、終了遷移、ニュートラル）に分割された動画シーケンスを処理する。
• 感情的ドメイン適応は、PD患者および健常者データ上で転移学習を用いて事前学習済みの深層顔認識モデル（例：Freeze 75）を微調整することで実施される。
• 三重損失を用いて特徴埋め込みを最適化し、類似したサンプル（例：PD患者）のクラスタリングを促進するとともに、異なるクラス間のマージンを拡大する。
• 時間的ダイナミクスの影響を評価するため、単一フレーム分類と複数フェーズフレーム分析を比較する。
• ポータビリティを評価するため、縮小版アーキテクチャ（VGG-8、ResNet7）を評価し、三重損失がこれらのモデルでの性能向上をさらに促進した。
• 主成分分析を用いて、学習された特徴空間における異なる障害度レベルのPD患者の分離可能性を可視化する。

実験結果

リサーチクエスチョン

• RQ1 感情生成の複数フェーズにわたる顔面表情ダイナミクスをモデル化することで、単一画像分析に比べてPD検出の正確性が向上するか？
• RQ2 顔認識またはFAU検出ドメインにおける事前学習モデルからの転移学習が、PD検出性能の向上に寄与するか？
• RQ3 三重損失学習が、PD患者の低表情モデリングのための特徴表現をどの程度改善するか？
• RQ4 三重損失で訓練された軽量ディープラーニングモデルは、ポータブルデバイスへのデプロイに耐えうる十分な正確性を達成できるか？
• RQ5 特徴空間に、PD患者の神経学的重症度を反映する明確な傾向が見られるか？

主な発見

• 複数の感情フェーズを含む動画シーケンスを用いることで、単一画像手法に比べてPD検出正確性が5.5ポイント向上し、72.9%から78.4%に上昇した。
• 感情的ドメイン適応による転移学習により、感情データ上で微調整されたモデルを用いることで、検出正確性が8.9ポイント上昇し、87.3%に達した。
• VGG-8およびResNet7モデルは、それぞれ最大67.6%および78.8%の正確性を示したが、三重損失を適用することで72.7%および82.4%に向上した。
• 主成分空間では、軽度および重度のPD患者が明確にクラスタを形成しており、中程度の症例はその中間にあることが明らかになった。
• 三重損失学習は、特に軽量モデルにおいて特徴表現を顕著に向上させたことから、効率的かつ正確なPD検出における価値が示された。
• PD患者を軽度、中程度、重度の3クラスに分類する分類タスクでは、最大44%（F1=0.45）の正確性を達成したが、重症度推定の分野には改善の余地があることが示された。