[论文解读] Inferring Dynamic Representations of Facial Actions from a Still Image

Siyang Song, Enrique Sánchez+3 more|arXiv (Cornell University)|Apr 4, 2019

Face recognition and analysis参考文献 56被引用 4

一句话总结

本文提出了一种新颖的图像到图像转换框架，通过从静态面部图像中推断动态表示（DR），以建模短期时间动态，从而在无需视频输入的情况下实现动作单元强度估计和维度情感估计的最先进性能。该方法使用自监督排序损失，训练网络根据时间接近度对相邻帧进行排序，捕捉中心图像周围的双向运动流。

ABSTRACT

Facial actions are spatio-temporal signals by nature, and therefore their modeling is crucially dependent on the availability of temporal information. In this paper, we focus on inferring such temporal dynamics of facial actions when no explicit temporal information is available, i.e. from still images. We present a novel approach to capture multiple scales of such temporal dynamics, with an application to facial Action Unit (AU) intensity estimation and dimensional affect estimation. In particular, 1) we propose a framework that infers a dynamic representation (DR) from a still image, which captures the bi-directional flow of time within a short time-window centered at the input image; 2) we show that we can train our method without the need of explicitly generating target representations, allowing the network to represent dynamics more broadly; and 3) we propose to apply a multiple temporal scale approach that infers DRs for different window lengths (MDR) from a still image. We empirically validate the value of our approach on the task of frame ranking, and show how our proposed MDR attains state of the art results on BP4D for AU intensity estimation and on SEMAINE for dimensional affect estimation, using only still images at test time.

研究动机与目标

• 从静态图像中建模面部动作的时间动态，其中未提供显式的视频或时间数据。
• 开发一种自监督训练方法，无需预定义的目标表示即可进行动态表示学习。
• 利用从单张图像推断出的动态表示，提升面部动作单元（AU）强度估计和维度情感估计的性能。
• 验证多尺度动态表示（MDR）在捕捉短期运动模式以提升性能方面的有效性。

提出的方法

• 提出一种图像到图像转换网络，从单张静态图像生成动态表示（DR），设计为一个三通道空间核，总结中心帧周围的运动。
• 采用排序损失函数，训练网络根据其与中心图像的距离，按时间顺序对邻近帧进行排序，从而实现双向时间流建模。
• 提出一种多尺度动态表示（MDR）方法，为多个时间窗口长度推断DR，以捕捉不同时间尺度下的动态。
• 采用自监督训练范式，网络在无需显式目标表示的情况下学习对帧进行排序，从而提升对未见图像的泛化能力。
• 将原始图像与推断出的DR结合，以增强特征学习，证明外观特征与动态线索具有互补性。
• 将DR作为输入应用于基于CNN的网络，用于AU强度和情感估计，结果优于仅使用单张图像的基线方法。

实验结果

研究问题

• RQ1 能否从单张静态图像中有效推断出动态表示，以建模面部动作动态？
• RQ2 使用排序损失函数的自监督训练是否能比依赖预定义目标表示的方法实现更好的泛化能力？
• RQ3 多尺度动态表示（MDR）是否能通过仅使用静态图像提升AU强度和维度情感估计任务的性能？
• RQ4 推断出的DR在对未见相邻帧进行时间顺序排序方面的有效性如何？
• RQ5 与仅使用外观特征相比，动态表示在静态图像面部行为分析中的增强程度如何？

主要发现

• 所提出的MDR方法在BP4D数据集上实现了动作单元强度估计的最先进性能，平均组内相关系数（ICC）达到0.72，优于使用视频输入的先前方法。
• 在SEMAINE数据集上，基于MDR的方法在唤醒度上的皮尔逊相关系数（PCC）为0.335，愉悦度为0.316，优于所有仅使用静态图像的对比方法。
• 自监督排序损失训练方案的泛化能力优于使用预定义目标表示训练的模型，体现在对未见图像的性能提升上。
• 将原始图像与MDR表示结合，性能优于单独使用图像或DR，证实了外观与动态线索的互补性。
• 推断出的DR能有效按时间顺序对相邻帧进行排序，验证了其捕捉短期运动动态的能力。
• SDR（单个动态表示）方法的性能与仅使用单张图像相当，但MDR显著提升了性能，证明了多尺度时间建模的价值。