[论文解读] Learning Pain from Action Unit Combinations: A Weakly Supervised Approach via Multiple Instance Learning

Zhanli Chen, Rashid Ansari+1 more|arXiv (Cornell University)|Dec 5, 2017

Emotion and Mood Recognition参考文献 17被引用 3

一句话总结

本文提出了一种弱监督的两阶段方法，通过多实例学习（MIL）和多聚类实例学习（MCIL）实现基于面部动作单元（AU）组合的自动疼痛检测。通过利用帧级AU检测并将疼痛建模为序列级标签，该方法在UNBC-McMaster数据集上实现了87%的准确率和0.94的AUC，表现出优异的性能和在长临床视频中的泛化能力。

ABSTRACT

Patient pain can be detected highly reliably from facial expressions using a set of facial muscle-based action units (AUs) defined by the Facial Action Coding System (FACS). A key characteristic of facial expression of pain is the simultaneous occurrence of pain-related AU combinations, whose automated detection would be highly beneficial for efficient and practical pain monitoring. Existing general Automated Facial Expression Recognition (AFER) systems prove inadequate when applied specifically for detecting pain as they either focus on detecting individual pain-related AUs but not on combinations or they seek to bypass AU detection by training a binary pain classifier directly on pain intensity data but are limited by lack of enough labeled data for satisfactory training. In this paper, we propose a new approach that mimics the strategy of human coders of decoupling pain detection into two consecutive tasks: one performed at the individual video-frame level and the other at video-sequence level. Using state-of-the-art AFER tools to detect single AUs at the frame level, we propose two novel data structures to encode AU combinations from single AU scores. Two weakly supervised learning frameworks namely multiple instance learning (MIL) and multiple clustered instance learning (MCIL) are employed corresponding to each data structure to learn pain from video sequences. Experimental results show an 87% pain recognition accuracy with 0.94 AUC (Area Under Curve) on the UNBC-McMaster Shoulder Pain Expression dataset. Tests on long videos in a lung cancer patient video dataset demonstrates the potential value of the proposed system for pain monitoring in clinical settings.

研究动机与目标

• 通过利用弱监督学习，解决临床面部表情分析中疼痛标注数据有限的挑战。
• 通过将疼痛建模为动作单元（AUs）的组合而非仅依赖单个AU检测，提升疼痛检测的准确性。
• 开发一种解耦框架，模拟人类FACS编码流程：首先在帧级别检测AUs，然后在序列级别推断疼痛。
• 通过适应真实世界患者数据而非仅标准数据集，实现对长临床视频中有效疼痛监测。
• 在使用肺癌患者视频进行跨数据集评估时，展示系统的泛化能力和鲁棒性。

提出的方法

• 使用最先进的自动面部表情识别（AFER）工具，从视频序列中检测帧级别的单个AUs。
• 构建两种新型数据结构——Compact-MIL和Clustered-MCIL，用于编码来自帧级AU得分的AU组合。
• 应用多实例学习（MIL）和多聚类实例学习（MCIL），将疼痛检测建模为弱监督问题，其中标签在序列级别分配。
• 在MCIL框架中引入高斯混合（GM）近似，以增强特征稀疏性并改善间隔分离。
• 在带有帧级AU注释和序列级疼痛标签的UNBC-McMaster肩痛表情数据集上训练系统。
• 在肺癌患者数据集的长视频子序列上测试系统，并将预测结果与人类专家对AU组合的一致性判断进行比较。

实验结果

研究问题

• RQ1 与基于单个AU的方法相比，将疼痛建模为动作单元（AUs）组合是否能提升检测准确率？
• RQ2 当仅提供序列级标签时，通过MIL和MCIL实现的弱监督学习在疼痛检测中的有效性如何？
• RQ3 所提出的解耦框架（先检测AUs，再建模AU组合）是否优于端到端的二值疼痛分类器？
• RQ4 该系统是否能泛化到长临床视频，并在不同患者群体中保持与人类专家标注的一致性？
• RQ5 来自聚类表示的特征稀疏性在多大程度上提升了模型性能，并与人类编码决策保持一致？

主要发现

• 所提出的系统在UNBC-McMaster肩痛表情数据集上，使用Compact-MIL框架实现了87%的疼痛识别准确率和0.94的AUC。
• Clustered-MCIL变体在AUC上优于Compact-MIL（0.94 vs. 0.92），归因于改进的特征稀疏性和间隔分离。
• 在肺癌患者数据集的长视频子序列上，系统与至少两名专家一致识别出疼痛的编码者之间的一致性达到82.9%。
• 在可信度较低的案例中，系统与单个编码者的一致性达到68.6%，表明其在标注模糊情况下的鲁棒性。
• 系统在未见临床数据上表现出强泛化能力，在所有三位编码者中对无痛（阴性）案例的一致性达到88.9%。
• 解耦结构（将AU检测与疼痛推理分离）通过更好地处理不确定性和潜在疼痛表征，提升了性能。