[论文解读] Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition

Shizhong Han, Zibo Meng+2 more|arXiv (Cornell University)|Jul 17, 2017

Emotion and Mood Recognition参考文献 13被引用 63

一句话总结

本文提出 Incremental Boosting CNN (IB-CNN)，在 CNN 中集成一个增量提升层，以在时间上选择用于面部动作单元识别的判别特征，从而在数据有限的情况下提升泛化能力。

ABSTRACT

Recognizing facial action units (AUs) from spontaneous facial expressions is still a challenging problem. Most recently, CNNs have shown promise on facial AU recognition. However, the learned CNNs are often overfitted and do not generalize well to unseen subjects due to limited AU-coded training images. We proposed a novel Incremental Boosting CNN (IB-CNN) to integrate boosting into the CNN via an incremental boosting layer that selects discriminative neurons from the lower layer and is incrementally updated on successive mini-batches. In addition, a novel loss function that accounts for errors from both the incremental boosted classifier and individual weak classifiers was proposed to fine-tune the IB-CNN. Experimental results on four benchmark AU databases have demonstrated that the IB-CNN yields significant improvement over the traditional CNN and the boosting CNN without incremental learning, as well as outperforming the state-of-the-art CNN-based methods in AU recognition. The improvement is more impressive for the AUs that have the lowest frequencies in the databases.

研究动机与目标

• 解决 AU 编码训练数据有限导致的 CNN 过拟合和泛化能力差的问题。
• 引入一种提升机制，从 CNN 的低层中选择判别性神经元。
• 开发一种增量学习方法，在多个小批量之间累积提升信息。
• 提出一种损失函数，在微调过程中平衡强分类器与弱分类器的误差。
• 在多个基准数据库上展示改进的 AU 识别，特别是对罕见的 AU。

提出的方法

• 在 CNN 中嵌入一个增量提升层，每个小批量选择判别性 FC-层特征（蓝色节点）。
• 通过聚合当前与先前提升的特征（蓝色+红色节点）构建增量强分类器。
• 使用 AdaBoost 式加权来更新弱学习器权重并激活/失活神经元（αj 和 λj）。
• 定义一个复合损失 εIB，结合强分类器损失与弱分类器损失来微调网络。
• 反向传播总损失以调整 CNN 参数，使来自多个批次的信息影响学习。
• 在四个 AU 基准数据集（CK、SEMAINE、BP4D、DISFA）上使用 SGD 和动量进行训练和评估。

实验结果

研究问题

• RQ1 在训练数据有限时，CNN 内的增量提升能否改善 AU 识别？
• RQ2 跨小批量累积提升特征是否降低过拟合并改善对未见主体的泛化？
• RQ3 将强分类器误差与弱分类器误差结合的损失是否比仅使用强分类器损失的微调效果更好？
• RQ4 IB-CNN 对架构选择如 FC 层神经元数量和学习率等是否具有鲁棒性？

主要发现

• IB-CNN 在基准 AU 数据库上优于传统 CNN 和非增量提升的 CNN (B-CNN)。
• 对于训练样本有限的罕见 AU，改进尤为明显。
• 使用组合的强+弱损失（εIB）比仅使用强损失的变体表现更好。
• IB-CNN 对提升层输入神经元数量和学习率选择显示鲁棒性。