[论文解读] Automated Pain Detection from Facial Expressions using FACS: A Review

Zhanli Chen, Rashid Ansari+1 more|arXiv (Cornell University)|Nov 13, 2018

Emotion and Mood Recognition参考文献 81被引用 23

一句话总结

本文回顾了基于面部动作编码系统（FACS）的面部表情自动疼痛检测，强调将自动化面部表情识别（AFER）框架——尤其是深度学习方法——适配用于临床疼痛评估。研究识别出关键挑战，如标注疼痛数据有限，并提出将AFER系统扩展为多标签、弱监督的AU检测，以实现在非言语患者中的准确、实时疼痛监测。

ABSTRACT

Facial pain expression is an important modality for assessing pain, especially when the patient's verbal ability to communicate is impaired. The facial muscle-based action units (AUs), which are defined by the Facial Action Coding System (FACS), have been widely studied and are highly reliable as a method for detecting facial expressions (FE) including valid detection of pain. Unfortunately, FACS coding by humans is a very time-consuming task that makes its clinical use prohibitive. Significant progress on automated facial expression recognition (AFER) has led to its numerous successful applications in FACS-based affective computing problems. However, only a handful of studies have been reported on automated pain detection (APD), and its application in clinical settings is still far from a reality. In this paper, we review the progress in research that has contributed to automated pain detection, with focus on 1) the framework-level similarity between spontaneous AFER and APD problems; 2) the evolution of system design including the recent development of deep learning methods; 3) the strategies and considerations in developing a FACS-based pain detection framework from existing research; and 4) introduction of the most relevant databases that are available for AFER and APD studies. We attempt to present key considerations in extending a general AFER framework to an APD framework in clinical settings. In addition, the performance metrics are also highlighted in evaluating an AFER or an APD system.

研究动机与目标

• 分析自动化面部表情识别（AFER）与自动化疼痛检测（APD）在框架层面的相似性，以实现跨领域方法迁移。
• 考察APD系统设计的演变，特别是从传统机器学习向深度学习的转变，以实现端到端特征学习和多标签AU检测。
• 识别开发基于FACS的APD系统的关键设计考量，包括特征提取、时序建模和模型可解释性。
• 突出现有公开数据库在AFER与APD研究中的作用，特别强调UNBC-McMaster肩痛表情档案库作为主要资源。
• 倡导建立更大规模、经临床验证、带有疼痛标注的面部表情数据集，以弥合当前APD模型与真实临床需求之间的差距。

提出的方法

• 通过聚焦11个核心疼痛相关动作单元（AUs）——AU4、AU6/7、AU9/10、AU12、AU20、AU25、AU26、AU27和AU43——将AFER框架（尤其是基于手工特征和深度神经网络（DNN）特征的方法）适配用于APD。
• 采用弱监督、多标签AU检测方法，通过多个AUs的共现推断疼痛，以自报告作为片段级真实标签。
• 利用深度学习模型（如DNN）替代传统特征提取方法，实现从原始图像端到端学习，并更好地建模复杂肌肉运动。
• 应用迁移学习以缓解数据稀缺问题，通过在有限疼痛数据集上微调预训练DNN，提升性能而不需从头训练。
• 使用显著性图解释DNN决策，通过可视化对AU预测最具影响力的输入区域，提升模型透明度。
• 集成时序建模（如动态方法），以平滑帧级AU预测并实现时间维度上的AU事件定位，提高对噪声的鲁棒性。

实验结果

研究问题

• RQ1 AFER与APD在结构和功能框架上如何比较？AFER技术在多大程度上可被适配用于疼痛检测？
• RQ2 从通用AFER向真实医疗环境中专用APD系统过渡时，面临哪些关键技术与临床挑战？
• RQ3 与传统机器学习方法相比，深度学习架构在基于FACS的系统中如何提升疼痛检测的准确性和鲁棒性？
• RQ4 公开可用的数据集——尤其是UNBC-McMaster数据集——在推动APD研究中发挥什么作用？其局限性是什么？
• RQ5 如何优化弱监督、多标签AU检测，以更准确反映临床疼痛强度并提升系统可靠性？

主要发现

• Prkachin和Solomon疼痛强度（PSPI）度量标准，定义为疼痛 = AU4 + max(AU6,AU7) + max(AU9,AU10) + AU43，仍是使用FACS量化疼痛强度的广泛使用且经过验证的方法。
• 在研究中一致与疼痛相关的仅11个核心AUs，包括皱眉（AU4）、提颊/眼睑紧缩（AU6/7）、鼻翼皱缩与上唇抬高（AU9/10）以及闭眼（AU43），此外AU12、AU20、AU25、AU26和AU27也与疼痛相关。
• 尽管AFER取得进展，但仅有少数研究聚焦于APD，且大多数APD模型仍处于早期发展阶段，主要受限于疼痛标注数据的稀缺。
• UNBC-McMaster肩痛表情档案库仍是唯一公开的APD研究数据集，限制了研究仅限于急性肩痛，且泛化能力有限。
• 深度学习模型在AU检测中表现优于传统方法，尤其在结合迁移学习以缓解数据稀缺问题时表现更优。
• 显著性图通过突出对疼痛相关AU检测最具相关性的面部区域，为基于DNN的APD系统提供可解释性，有助于提升临床信任与验证。