[论文解读] Heteroscedastic Conditional Ordinal Random Fields for Pain Intensity Estimation from Facial Images

Ognjen Rudovic, Maja Pantić+1 more|arXiv (Cornell University)|Jan 22, 2013

Face and Expression Recognition参考文献 13被引用 4

一句话总结

本文提出了一种结合动态排名的异方差条件序数随机场框架，以提升从面部图像中估计疼痛强度的性能。通过建模输出方差的异方差性，并利用动态排名施加时间上的序数约束，该方法在性能上优于当前最先进模型，尤其在组内相关系数（ICC）指标上表现更优。

ABSTRACT

We propose a novel method for automatic pain intensity estimation from facial images based on the framework of kernel Conditional Ordinal Random Fields (KCORF). We extend this framework to account for heteroscedasticity on the output labels(i.e., pain intensity scores) and introduce a novel dynamic features, dynamic ranks, that impose temporal ordinal constraints on the static ranks (i.e., intensity scores). Our experimental results show that the proposed approach outperforms state-of-the art methods for sequence classification with ordinal data and other ordinal regression models. The approach performs significantly better than other models in terms of Intra-Class Correlation measure, which is the most accepted evaluation measure in the tasks of facial behaviour intensity estimation.

研究动机与目标

• 解决使用机器学习从面部图像中准确估计疼痛强度的挑战。
• 对序数疼痛强度评分中的异方差性进行建模，即标签方差在不同样本间存在差异。
• 通过动态排名机制，在静态面部强度预测中强制实现时间上的序数一致性。
• 提升在面部行为分析中序数序列分类任务的性能。
• 在组内相关系数（ICC）指标上实现最先进水平的结果，该指标是疼痛强度评估的黄金标准。

提出的方法

• 将核函数条件序数随机场（KCORF）框架扩展，以显式建模疼痛强度评分中的异方差输出方差。
• 引入动态排名作为新颖机制，对静态强度预测施加时间序数约束。
• 采用一种基于序列上下文自适应的动态排名函数，以保持时间序列中的序数顺序。
• 应用核方法以建模面部特征与疼痛水平之间的复杂非线性关系。
• 使用基于似然的目标函数进行模型优化，同时考虑标签不确定性与序数结构。
• 将时间动态整合进序数回归框架，以提升预测的一致性与准确性。

实验结果

研究问题

• RQ1 在疼痛强度评分中建模异方差性是否能提升面部图像分析中的估计准确性？
• RQ2 动态排名机制在强制静态预测中的时间序数一致性方面效果如何？
• RQ3 所提出的方法是否在疼痛强度估计任务中优于现有的序数回归与序列分类模型？
• RQ4 与最先进方法相比，该模型在组内相关系数（ICC）上的提升程度如何？
• RQ5 该框架是否能泛化至具有序数输出的真实世界面部行为强度估计任务？

主要发现

• 所提方法在组内相关系数（ICC）上显著优于对比模型，表明其与人工标注疼痛评分的一致性更高。
• 该模型在序数数据的序列分类任务中优于最先进方法，表现出更高的预测准确性。
• 引入动态排名显著提升了时间一致性，减少了序列中序数约束的违反情况。
• 建模异方差性有助于提升不确定性校准，并在方差变化的疼痛评分分布上取得更优性能。
• 该方法在不同面部图像序列的疼痛强度估计任务中表现出鲁棒性与泛化能力。
• 该方法在ICC指标上树立了新基准，该指标是面部行为强度估计中最广泛接受的评估指标。