[论文解读] Automated facial recognition system using deep learning for pain assessment in adults with cerebral palsy

Álvaro Sabater-Gárriz, F. Xavier Gaya-Morey+4 more|arXiv (Cornell University)|Jan 22, 2024

Cerebral Palsy and Movement DisordersMedicine被引用 3

一句话总结

本研究提出了一种基于深度学习的自动化面部识别系统，用于评估脑瘫成人患者的疼痛，使用新整理的数据集（CPPAIN）中的109张面部图像，通过面部动作编码系统（FACS）进行标注。InceptionV3在CPPAIN数据集上实现了62.67%的准确率和61.12%的F1分数，证明了该方法在存在沟通和面部表情障碍的人群中检测疼痛的可行性。

ABSTRACT

Background: Pain assessment in individuals with neurological conditions, especially those with limited self-report ability and altered facial expressions, presents challenges. Existing measures, relying on direct observation by caregivers, lack sensitivity and specificity. In cerebral palsy, pain is a common comorbidity and a reliable evaluation protocol is crucial. Thus, having an automatic system that recognizes facial expressions could be of enormous help when diagnosing pain in this type of patient. Objectives: 1) to build a dataset of facial pain expressions in individuals with cerebral palsy, and 2) to develop an automated facial recognition system based on deep learning for pain assessment addressed to this population. Methods: Ten neural networks were trained on three pain image databases, including the UNBC-McMaster Shoulder Pain Expression Archive Database, the Multimodal Intensity Pain Dataset, and the Delaware Pain Database. Additionally, a curated dataset (CPPAIN) was created, consisting of 109 preprocessed facial pain expression images from individuals with cerebral palsy, categorized by two physiotherapists using the Facial Action Coding System observational scale. Results: InceptionV3 exhibited promising performance on the CP-PAIN dataset, achieving an accuracy of 62.67% and an F1 score of 61.12%. Explainable artificial intelligence techniques revealed consistent essential features for pain identification across models. Conclusion: This study demonstrates the potential of deep learning models for robust pain detection in populations with neurological conditions and communication disabilities. The creation of a larger dataset specific to cerebral palsy would further enhance model accuracy, offering a valuable tool for discerning subtle and idiosyncratic pain expressions. The insights gained could extend to other complex neurological conditions.

研究动机与目标

• 解决脑瘫成人患者因沟通和运动障碍而无法自我报告疼痛的可靠评估挑战。
• 克服当前观察性疼痛量表在临床环境中缺乏敏感性和特异性的局限。
• 为训练和评估自动化系统，创建一个针对脑瘫患者面部疼痛表情的专用数据集。
• 开发并评估一种专为检测此类神经功能障碍人群疼痛而设计的基于深度学习的面部识别模型。
• 探索可解释人工智能技术，以识别在不同模型中与疼痛一致的面部特征。

提出的方法

• 收集并整理了一个新数据集（CPPAIN），包含109张经预处理的脑瘫成人面部图像。
• 由两名受过培训的物理治疗师使用面部动作编码系统（FACS）对CPPAIN中的面部表情进行标注，以确保可靠性。
• 在三个公开的疼痛数据库上训练了十个深度神经网络：UNBC-McMaster、多模态强度疼痛数据集和特拉华疼痛数据库。
• 使用迁移学习将InceptionV3架构微调至CPPAIN数据集，用于疼痛分类，以适应目标人群。
• 应用可解释人工智能技术（如Grad-CAM）来解释模型预测结果，并识别与疼痛检测相关的显著面部区域。
• 使用标准指标（准确率、F1分数以及各类别的精确率/召回率）在CPPAIN测试集上评估模型性能。

实验结果

研究问题

• RQ1 在新开发的、专用于脑瘫的面部疼痛数据集上训练的深度学习模型，能否在脑瘫成人中实现可靠的疼痛分类？
• RQ2 在CPPAIN数据集上，哪种深度学习架构在疼痛表情识别方面表现最佳？
• RQ3 可解释人工智能方法在不同模型中一致识别出的与疼痛相关的面部特征有哪些？
• RQ4 在通用疼痛数据集上训练的模型，在脑瘫特定情境下的性能如何？
• RQ5 与直接观察方法相比，自动化系统在多大程度上能提高疼痛评估的敏感性和特异性？

主要发现

• InceptionV3在CPPAIN数据集上表现最佳，准确率达到62.67%，F1分数为61.12%，优于其他测试的模型。
• 可解释人工智能技术揭示了在眼周、眉毛和口部区域存在一致的激活模式，表明这些区域是疼痛检测的关键。
• 该模型在识别脑瘫患者中常见的细微和个体化疼痛表情方面表现出鲁棒性。
• 本研究证实了使用深度学习进行神经功能障碍和沟通障碍人群自动化疼痛评估的可行性。
• 创建如CPPAIN这样高质量、专用的数据集，对于提高临床应用中模型的准确性和泛化能力至关重要。
• 随着未来更大、更多样化的脑瘫专用数据集的出现，有望进一步提升对细微疼痛表情的检测能力。