[论文解读] DeepCoder: Semi-parametric Variational Autoencoders for Facial Action Unit Intensity Estimation.

Dieu Linh Tran, Robert Walecki+4 more|arXiv (Cornell University)|Apr 7, 2017

Emotion and Mood Recognition被引用 6

一句话总结

DeepCoder 提出了一种半参数化变分自编码器，将卷积参数化 VAE 与序数高斯过程相结合，联合学习分层面部表征并估计面部动作单元（AU）强度。通过结合深度特征学习与非参数不确定性建模，该方法在基准 AU 强度估计数据集上显著优于当前最先进方法。

ABSTRACT

Variational (deep) parametric auto-encoders (VAE) have shown a great potential for unsupervised extraction of latent representations from large amounts of data. Human face exhibits an inherent hierarchy in facial representations (encoded in facial action units (AUs) and their intensity). This makes VAE a sophisticated method for learning facial features for AU intensity estimation. Yet, most existing methods apply classifiers learned separately from the encoded features. On the other hand, non-parametric (probabilistic) approaches, such as Gaussian Processes (GPs), typically outperform their parametric counterparts, but cannot deal easily with large amounts of data. In this paper, we propose a novel VAE semi-parametric modeling framework, named DeepCoder, which combines the modeling power of parametric (convolutional) and nonparametric (ordinal GPs) VAEs, for joint learning of (1) latent representations at multiple levels in a task hierarchy, and (2) classification of multiple ordinal outputs (AUs intensities). We show on benchmark datasets for AU intensity estimation that the proposed DeepCoder significantly outperforms state-of-the-art approaches, and related parametric VAEs, deep learning and parametric models.

研究动机与目标

• 解决现有 VAE 的局限性：即在编码特征上单独训练分类器，而非联合学习表征与强度预测。
• 将参数化深度模型的可扩展性与高斯过程（GPs）等非参数方法的不确定性量化能力相结合。
• 通过与面部动作单元（AUs）对齐的多层级潜在表征，建模面部表征的分层结构。
• 利用概率性半参数化框架实现序数 AU 强度输出的端到端学习，同时捕捉不确定性与序数关系。
• 通过在统一的生成模型中结合深度特征提取与非参数回归，提升 AU 强度估计性能。

提出的方法

• 将卷积编码器-解码器架构（参数化 VAE）与非参数序数高斯过程（GP）结合，用于对潜在表征进行回归。
• 采用分层潜在空间，不同层级编码具有不同抽象层次的面部特征，与 AU 层次结构对齐。
• 应用序数 GP 建模 AU 强度输出，保留强度等级（如 0 到 5）的自然序数关系。
• 采用联合训练目标，同时优化 VAE 重建损失与 GP 预测损失，实现端到端学习。
• 利用 GP 的非参数特性建模强度预测中的不确定性，同时通过结构化推理保持可扩展性。
• 实现半参数化框架，其中 VAE 学习全局特征，GP 模型化局部、实例特定的强度预测。

实验结果

研究问题

• RQ1 半参数化 VAE 框架是否能比端到端参数化模型更有效地联合学习分层面部表征并预测序数 AU 强度？
• RQ2 将参数化深度特征学习与非参数 GP 回归相结合，能否显著提升 AU 强度估计性能？
• RQ3 DeepCoder 中的分层潜在空间在多大程度上捕捉了面部动作单元及其强度的内在结构？
• RQ4 与标准参数化分类器相比，序数 GP 的集成是否能增强不确定性估计与预测准确性？
• RQ5 DeepCoder 在多样化的基准数据集上进行 AU 强度估计时，其可扩展性与泛化能力如何？

主要发现

• DeepCoder 在基准 AU 强度估计数据集上达到最先进性能，显著优于现有的参数化 VAE 与深度学习模型。
• 序数高斯过程的集成显著提升了预测准确性，通过更有效地建模 AU 强度的序数特性，优于标准分类头。
• VAE 学习得到的分层潜在空间捕捉了与面部动作单元对齐的有意义面部表征层次。
• 半参数化设计在保持大规模数据集可扩展性的前提下，实现了更优的不确定性量化。
• DeepCoder 在纯参数化 VAE 与非参数模型单独使用时均表现更优，验证了深度特征学习与非参数回归结合的优势。
• 该模型在多样化面部表情与数据集上表现出稳健的泛化能力，验证了其在真实世界 AU 强度估计中的有效性。