[論文レビュー] Automatic Facial Paralysis Estimation with Facial Action Units

Xuri Ge, Joemon M. Jose+4 more|arXiv (Cornell University)|Mar 3, 2022

Facial Nerve Paralysis Treatment and Research被引用数 6

ひとこと要約

本論文は、顔面麻痺の重症度を自動的に推定するための新規なアダプティブ・ローカルグローバル関係ネットワークであるALGRNetを提案する。アダプティブ領域学習、AU関係のスイープ・BiLSTMモデリング、および特徴の統合・最適化モジュールを統合することで、BP4DおよびDISFAで最先端のAU検出精度を達成し、新たに収集した顔面麻痺データセット（FPara）において平均F1スコアで2.6%の優位性を示した。これは、臨床的重症度推定への強い汎化性と転移可能性を示している。

ABSTRACT

Facial palsy is unilateral facial nerve weakness or paralysis of rapid onset with unknown causes. Automatically estimating facial palsy severeness can be helpful for the diagnosis and treatment of people suffering from it across the world. In this work, we develop and experiment with a novel model for estimating facial palsy severity. For this, an effective Facial Action Units (AU) detection technique is incorporated into our model, where AUs refer to a unique set of facial muscle movements used to describe almost every anatomically possible facial expression. In this paper, we propose a novel Adaptive Local-Global Relational Network (ALGRNet) for facial AU detection and use it to classify facial paralysis severity. ALGRNet mainly consists of three main novel structures: (i) an adaptive region learning module that learns the adaptive muscle regions based on the detected landmarks; (ii) a skip-BiLSTM that models the latent relationships among local AUs; and (iii) a feature fusion&refining module that investigates the complementary between the local and global face. Quantitative results on two AU benchmarks, i.e., BP4D and DISFA, demonstrate our ALGRNet can achieve promising AU detection accuracy. We further demonstrate the effectiveness of its application to facial paralysis estimation by migrating ALGRNet to a facial paralysis dataset collected and annotated by medical professionals.

研究の動機と目的

• 現在、主に主観的な臨床的評価に依存しているため、顔面麻痺の重症度推定のための自動的で客観的な手法の不足に取り組む。
• 固定グリッドや事前に定義されたパッチ領域ではなく、動的で不規則な筋肉領域間の関係をモデル化することで、顔の動きの単位（AU）検出を改善する。
• 局所的AU表現とグローバルな顔の文脈を統合する深層学習フレームワークを構築し、特徴の補完性を向上させる。
• AU検出モデルの臨床的顔面麻痺重症度分類への転移可能性を評価する。これは、これまでの研究が限られていた分野である。
• 臨床的に関連性のある顔面麻痺データセット（FPara）を医療専門家がアノテートして作成し、ベンチマーク用に提供する。

提案手法

• ALGRNetは、検出された顔の特徴点に基づいて、AUに関連する筋肉領域を動的に特定するアダプティブ領域学習モジュールを採用し、固定グリッドや事前に定義されたパッチ領域に代わる。
• スイープ・BiLSTMネットワークは、局所的AU特徴間の双方向的時間的および関係的依存性をモデル化し、AUブランチ間での相互補完と抑制を可能にする。
• 特徴統合・最適化モジュールは、局所的AU特徴とグローバルな顔の表現を統合し、判別力の向上と不規則なAU形状への適応性を高める。
• モデルは、公開のAUベンチマーク（BP4DおよびDISFA）で事前学習され、顔面麻痺重症度推定のためのFParaデータセットで微調整される。
• モデルは、マルチタスク学習の目的関数（AU検出と顔面麻痺グレーディング）を用いてエンドツーエンドで訓練される。
• クラスアクティベーションマップの可視化により、注目領域の局在化とAU間の関係性を検証し、空間的および関係的モデリングの向上を確認した。

実験結果

リサーチクエスチョン

• RQ1 固定グリッドや手作業で作成されたパッチ手法と比較して、ランドマークに従うアダプティブな領域学習メカニズムは、AU検出精度を向上させることができるか？
• RQ2 AU関係のスイープ・BiLSTMモデリングは、特徴表現および分類性能をどの程度向上させることができるか？
• RQ3 特徴統合・最適化モジュールは、不規則なAU領域における局所的およびグローバル特徴の統合にどの程度効果的か？
• RQ4 最先端のAU検出モデルは、臨床的に関連性の高い顔面麻痺重症度推定タスクに効果的に転移可能か？
• RQ5 新たに収集された臨床的アノテーション付きの顔面麻痺データセットにおいて、ALGRNetは既存の手法よりも優れた汎化性能を示すか？

主な発見

• ALGRNetは、2つの標準的なAU検出ベンチマーク（BP4DおよびDISFA）で最先端の性能を達成し、優れたAU検出精度を示した。
• FPara顔面麻痺データセットにおいて、ALGRNetは平均F1スコア75.4%を達成し、次に優れた手法（J$̂$A-Net）を2.6ポイント上回った。
• ALGRNetの平均F1スコアは、Transformerベースのベースラインよりも2.8%高い。これは、臨床的タスクにおける顔の動きのダイナミクスを効果的にモデル化できていることを確認している。
• クラスアクティベーションマップの可視化により、ALGRNetがAUに関連する領域を正確に局在化し、個々の被験者間でAU間の正負の相関関係を捉えていることが確認された。
• 個々の被験者の顔の違いに関係なく、一貫性があり適応的な注目マップを示し、モデルの汎化性能が優れていることがわかった。
• アブレーションスタディにより、アダプティブ領域学習、スイープ・BiLSTM、統合・最適化モジュールの各コンポonentが最終的な性能向上に顕著に寄与していることが確認された。