[论文解读] DeepFaceLIFT: Interpretable Personalized Models for Automatic Estimation of Self-Reported Pain

Dianbo Liu, Fengjiao Peng+4 more|arXiv (Cornell University)|Aug 9, 2017

Machine Learning in Healthcare参考文献 29被引用 30

一句话总结

DeepFaceLIFT 提出了一种两阶段、可解释的个性化模型，通过手工设计的个体特征与多任务学习，从面部表情估计自报的视觉模拟量表（VAS）疼痛评分。该模型通过结合神经网络与高斯过程回归，将组内相关系数（ICC）提升至35%（基线为19%），同时通过DeepLIFT和RBF-ARD核分析实现了特征级别的可解释性。

ABSTRACT

Previous research on automatic pain estimation from facial expressions has focused primarily on "one-size-fits-all" metrics (such as PSPI). In this work, we focus on directly estimating each individual's self-reported visual-analog scale (VAS) pain metric, as this is considered the gold standard for pain measurement. The VAS pain score is highly subjective and context-dependent, and its range can vary significantly among different persons. To tackle these issues, we propose a novel two-stage personalized model, named DeepFaceLIFT, for automatic estimation of VAS. This model is based on (1) Neural Network and (2) Gaussian process regression models, and is used to personalize the estimation of self-reported pain via a set of hand-crafted personal features and multi-task learning. We show on the benchmark dataset for pain analysis (The UNBC-McMaster Shoulder Pain Expression Archive) that the proposed personalized model largely outperforms the traditional, unpersonalized models: the intra-class correlation improves from a baseline performance of 19\% to a personalized performance of 35\% while also providing confidence in the model extquotesingle s estimates -- in contrast to existing models for the target task. Additionally, DeepFaceLIFT automatically discovers the pain-relevant facial regions for each person, allowing for an easy interpretation of the pain-related facial cues.

研究动机与目标

• 解决如PSPI等‘一刀切’疼痛度量方法的局限性，后者无法捕捉自报疼痛的主观性与情境依赖性。
• 通过直接建模个体自报的VAS评分（疼痛测量的金标准），提升自动疼痛估计的性能。
• 通过将输入的面部特征与个人特征关联到输出疼痛估计，实现模型的可解释性。
• 探究个人特征（如年龄、性别）与观察者疼痛评分（OPI）如何提升VAS估计性能。
• 开发一种分层学习框架，在特征层面实现个性化，而非通过改变模型架构。

提出的方法

• 两阶段模型：首先，全连接神经网络处理主动外观模型（AAM）的面部关键点坐标，生成帧级VAS估计值。
• 其次，计算帧级估计值的统计量（总和、均值、四分位距IQR），并输入高斯过程（GP）回归模型，实现序列级VAS预测。
• 将个人特征（如年龄、性别等）嵌入神经网络的中间层，以实现特征层面的个性化。
• 使用DeepLIFT计算神经网络中特征的相关性，从而解释哪些面部关键点对个体的疼痛估计贡献最大。
• GP模型采用RBF-ARD核，识别哪些统计特征（如均值、IQR）对最终VAS估计的贡献最大。
• 通过联合训练VAS与OPI（观察者疼痛强度）评分，采用多任务学习以提升泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 个性化、可解释的模型是否能超越传统非个性化模型，在自报VAS疼痛评分估计中表现更优？
• RQ2 个体特异性特征（如年龄、性别）如何影响自动VAS估计的准确性？
• RQ3 哪些面部区域与帧级估计的统计特征最能预测序列级VAS评分？
• RQ4 引入观察者疼痛评分（OPI）在多大程度上提升了主观VAS评分的估计性能？
• RQ5 是否可在深度学习模型中实现特征层面的可解释性？其能提供关于个体疼痛表达差异的何种洞见？

主要发现

• 所提出的DeepFaceLIFT模型实现了35%的组内相关系数（ICC），显著优于基线非个性化模型的19%。
• 帧级VAS估计的总和（Σ(P)）、均值（μ(P)）与四分位距（IQR(P)）是序列级预测中最关键的统计特征。
• 若排除年龄、性别等个人特征，平均绝对误差（MAE）上升，证实其在个性化中的预测价值。
• 该模型识别出个体特异性的面部区域对疼痛估计最为关键，且各人贡献差异显著。
• 在神经网络中间层嵌入个人特征可实现最优性能，优于早期或晚期融合策略。
• GP模型中的RBF-ARD核分析表明，图像序列长度与VAS评分相关，表现为Σ(P)与μ(P)的强贡献。