[论文解读] Action Units Recognition by Pairwise Deep Architecture

Junya Saito, Ryosuke Kawamura+6 more|arXiv (Cornell University)|Oct 1, 2020

Emotion and Mood Recognition参考文献 23被引用 6

一句话总结

本文提出一种用于动作单元（AUs）识别的成对深度神经网络架构，通过从图像对中学习与个体无关的伪强度并结合视频级变化特征将这些伪强度映射到AU标签，解决了因个体面部差异（如骨骼结构和皱纹）导致的标签不一致性问题。该方法在验证集上的竞赛指标得分达到0.67，显著优于基线模型的0.31。

ABSTRACT

In this paper, we propose a new automatic Action Units (AUs) recognition method used in a competition, Affective Behavior Analysis in-the-wild (ABAW). Our method tackles a problem of AUs label inconsistency among subjects by using pairwise deep architecture. While the baseline score is 0.31, our method achieved 0.67 in validation dataset of the competition.

研究动机与目标

• 解决由于面部结构差异（如骨骼结构和皱纹）导致的个体间AU标注不一致问题。
• 克服单图AU识别模型无法考虑面部外观变化中个体间差异的局限性。
• 开发一种方法，模拟人类标注者通过分析视频中面部外观的时间变化来评估AU强度的过程。
• 通过利用视频级上下文和相对比较，提升在ABAW 2020基准上的AU识别性能。
• 通过两阶段深度学习流程，在ABAW验证数据集上实现最先进性能。

提出的方法

• 使用来自同一视频的图像对训练类孪生的成对深度神经网络，以预测相对AU强度排序。
• 采用具有边界值t=1的对比损失函数，确保伪强度排序与真实AU强度排序一致。
• 学习与个体无关的伪强度，表示面部外观变化的程度（如皱纹深度、肌肉运动）。
• 从伪强度中提取视频级变化特征，包括分位数（0th, 10th, ..., 100th）和强度范围内的频率分布。
• 训练全连接网络（FCN）使用交叉熵损失将变化特征映射到AU出现或强度标签。
• 在预处理阶段应用Procrustes配准，以标准化图像间的面部几何结构。

实验结果

研究问题

• RQ1 成对深度学习架构能否有效建模用于AU识别的与个体无关的面部外观变化？
• RQ2 通过图像对学习相对强度排序是否能提升对个体间标注不一致性问题的鲁棒性？
• RQ3 伪强度的视频级变化特征是否能超越单帧分析，提升AU标签预测性能？
• RQ4 所提出方法在真实世界AU识别基准上相较于单图基线模型的性能提升程度如何？
• RQ5 标注者基于面部外观时间变化评估AU强度的假设在实践中是否成立且有效？

主要发现

• 所提方法在ABAW 2020验证数据集上的竞赛指标得分为0.67，显著优于基线得分0.31。
• 该方法在验证集上实现了0.39的平均F1分数和0.95的总体准确率，表明在精确率与召回率方面均表现优异。
• 采用成对训练与相对排序损失有效学习到了反映潜在面部变化幅度的与个体无关的伪强度。
• 基于视频级变化特征（分位数与频率分布）训练的映射模型，通过捕捉时间动态特性，提升了AU标签预测性能。
• 通过将强度估计与个体特定外观解耦，该方法在面对骨骼结构和永久性皱纹等个体面部差异时表现出强鲁棒性。
• 性能增益在多次训练试验中保持一致，最佳结果基于验证性能选取。