[論文レビュー] Automated facial recognition system using deep learning for pain assessment in adults with cerebral palsy

Álvaro Sabater-Gárriz, F. Xavier Gaya-Morey+4 more|arXiv (Cornell University)|Jan 22, 2024

Cerebral Palsy and Movement DisordersMedicine被引用数 3

ひとこと要約

本研究では、てんかん性麻痺を有する成人における痛み評価のための深層学習ベースの自動顔面認識システムを提案する。新たに整備されたデータセット（CPPAIN）を用い、顔面行動コード化システム（FACS）によりラベル付けされた109枚の顔画像を対象としている。InceptionV3はCPPAINデータセットで62.67％の正答率および61.12％のF1スコアを達成し、言語能力や顔面表現に障害を有する集団における痛みの検出可能性を示している。

ABSTRACT

Background: Pain assessment in individuals with neurological conditions, especially those with limited self-report ability and altered facial expressions, presents challenges. Existing measures, relying on direct observation by caregivers, lack sensitivity and specificity. In cerebral palsy, pain is a common comorbidity and a reliable evaluation protocol is crucial. Thus, having an automatic system that recognizes facial expressions could be of enormous help when diagnosing pain in this type of patient. Objectives: 1) to build a dataset of facial pain expressions in individuals with cerebral palsy, and 2) to develop an automated facial recognition system based on deep learning for pain assessment addressed to this population. Methods: Ten neural networks were trained on three pain image databases, including the UNBC-McMaster Shoulder Pain Expression Archive Database, the Multimodal Intensity Pain Dataset, and the Delaware Pain Database. Additionally, a curated dataset (CPPAIN) was created, consisting of 109 preprocessed facial pain expression images from individuals with cerebral palsy, categorized by two physiotherapists using the Facial Action Coding System observational scale. Results: InceptionV3 exhibited promising performance on the CP-PAIN dataset, achieving an accuracy of 62.67% and an F1 score of 61.12%. Explainable artificial intelligence techniques revealed consistent essential features for pain identification across models. Conclusion: This study demonstrates the potential of deep learning models for robust pain detection in populations with neurological conditions and communication disabilities. The creation of a larger dataset specific to cerebral palsy would further enhance model accuracy, offering a valuable tool for discerning subtle and idiosyncratic pain expressions. The insights gained could extend to other complex neurological conditions.

研究の動機と目的

• てんかん性麻痺を有する成人において、言語能力や運動機能に障害があるため自己報告が困難な状況における、信頼性の高い痛み評価の課題を解決すること。
• 臨床現場で感受性や特異性に欠ける既存の観察的痛みスケールの限界を克服すること。
• 自動化システムの学習および評価を目的とした、てんかん性麻痺患者における顔面痛み表現の専用データセットの構築。
• 神経障害を有するこの集団における痛み検出に特化した深層学習ベースの顔認識モデルの開発および評価。
• 一貫した顔面特徴が痛みと関連していることを同定するため、説明可能なAI技術の活用を検討すること。

提案手法

• てんかん性麻痺を有する成人の109枚の事前処理済み顔画像から成る新規データセット（CPPAIN）を収集および整備した。
• 信頼性を確保するため、2名の訓練を受けた理学療法士が顔面表情を顔面行動コード化システム（FACS）を用いてラベル付けした。
• UNBC-McMaster、マルチモーダル強度痛みデータセット、デラウェア痛みデータセットの3つの公開痛みデータベースを用いて、10種類の深層ニューラルネットワークを学習させた。
• 転移学習を用いてターゲット集団に適応するため、InceptionV3アーキテクチャをCPPAINデータセットで微調整し、痛み分類を実行した。
• モデルの予測を解釈し、痛み検出に寄与する顕著な顔面領域を同定するために、説明可能なAI技術（例：Grad-CAM）を適用した。
• CPPAINテストセットにおけるモデル性能を、標準指標（正答率、F1スコア、クラスごとの適合率・再現率）を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 新規に開発されたCP特化顔面痛みデータセットで学習した深層学習モデルは、てんかん性麻痺を有する成人における信頼性の高い痛み分類を達成できるか？
• RQ2 CPPAINデータセットにおいて、どの深層学習アーキテクチャが痛み表現認識で最も優れた性能を示すか？
• RQ3 説明可能なAI手法によって、異なるモデル間で一貫して痛みを示すと特定された顔面特徴は何か？
• RQ4 一般の痛みデータセットで学習したモデルの性能は、てんかん性麻痺の文脈にどの程度適応可能か？
• RQ5 自動化システムは、直接観察法と比較して、痛み評価の感受性および特異性をどの程度向上させられるか？

主な発見

• InceptionV3がCPPAINデータセットで最高の性能を示し、62.67％の正答率および61.12％のF1スコアを達成し、他のテスト済みモデルを上回った。
• 説明可能なAI手法により、目の周辺、眉、口の領域に一貫した活性化パターンが観察され、これらが痛み検出の重要な領域であることが示された。
• 本モデルは、てんかん性麻痺を有する個々の人物に見られる微細で特徴的な痛み表現を効果的に同定する強靭性を示した。
• 神経障害および言語能力に障害を有する集団における自動化された痛み評価に深層学習を用いる可能性が本研究で確認された。
• 臨床応用におけるモデルの正答率および汎化性能を向上させるために、CPPAINのような専用かつ高品質なデータセットの構築が不可欠である。
• 今後、より大規模かつ多様なてんかん性麻痺特化データセットを用いることで、微細な痛み表現の検出がさらに向上すると予想される。