[论文解读] MFEViT: A Robust Lightweight Transformer-based Network for Multimodal 2D+3D Facial Expression Recognition

Hanting Li, Mingzhe Sui+2 more|arXiv (Cornell University)|Sep 20, 2021

Face and Expression Recognition参考文献 31被引用 4

一句话总结

本文提出 MFEViT，一种轻量级、纯视觉变压器（transformer）架构的多模态 2D+3D 面部表情识别模型，采用替代性特征融合策略在视觉变压器编码器之前融合 RGB 与深度图特征，并引入样本过滤模块，将噪声样本重新分配至子类别。该模型在 BU-3DFE 数据集上达到 90.83% 的 SOTA 准确率，在 Bosphorus 数据集上达到 90.28%，仅使用约 2300 万参数，优于现有的多分支卷积神经网络（CNN）。

ABSTRACT

Vision transformer (ViT) has been widely applied in many areas due to its self-attention mechanism that help obtain the global receptive field since the first layer. It even achieves surprising performance exceeding CNN in some vision tasks. However, there exists an issue when leveraging vision transformer into 2D+3D facial expression recognition (FER), i.e., ViT training needs mass data. Nonetheless, the number of samples in public 2D+3D FER datasets is far from sufficient for evaluation. How to utilize the ViT pre-trained on RGB images to handle 2D+3D data becomes a challenge. To solve this problem, we propose a robust lightweight pure transformer-based network for multimodal 2D+3D FER, namely MFEViT. For narrowing the gap between RGB and multimodal data, we devise an alternative fusion strategy, which replaces each of the three channels of an RGB image with the depth-map channel and fuses them before feeding them into the transformer encoder. Moreover, the designed sample filtering module adds several subclasses for each expression and move the noisy samples to their corresponding subclasses, thus eliminating their disturbance on the network during the training stage. Extensive experiments demonstrate that our MFEViT outperforms state-of-the-art approaches with an accuracy of 90.83% on BU-3DFE and 90.28% on Bosphorus. Specifically, the proposed MFEViT is a lightweight model, requiring much fewer parameters than multi-branch CNNs. To the best of our knowledge, this is the first work to introduce vision transformer into multimodal 2D+3D FER. The source code of our MFEViT will be publicly available online.

研究动机与目标

• 为应对 2D+3D 面部表情识别（FER）数据集资源有限的挑战，将大规模 RGB 数据预训练的视觉变压器迁移至低资源场景。
• 相比现有用于多模态 FER 的多分支 CNN，降低模型复杂度与参数量。
• 缓解训练过程中噪声样本及面部表情数据内部类内差异较大的负面影响。
• 首次将纯视觉变压器架构引入多模态 2D+3D FER，利用自注意力机制实现全局特征学习。

提出的方法

• 提出一种替代性融合（AF）策略，将 RGB 的三个通道分别替换为深度图通道，并在输入视觉变压器编码器前完成特征融合，缩小 RGB 与多模态数据之间的领域差距。
• 设计一种样本过滤（SF）模块，为每种表情创建子类别，并在训练过程中将噪声样本重新分配至这些子类别，以降低其对主类别的干扰。
• 在数据级融合后，对融合的多模态特征应用视觉变压器（ViT）编码器，使模型从第一层即可学习全局感受野。
• 通过将 3D 扫描投影为对齐的 RGB 与深度图配对，并进行表面处理以提升数据质量，实现 2D+3D 特征提取。
• 采用单分支变压器架构，避免使用多分支 CNN，显著减少模型参数量。
• 在推理阶段，将所有子类别重新合并回其原始主类别，以进行最终分类与准确率评估。

实验结果

研究问题

• RQ1 能否有效将大规模 RGB 数据预训练的视觉变压器适配至低资源的 2D+3D 面部表情识别任务？
• RQ2 如何最小化 RGB 与多模态（2D+3D）数据之间的领域差距，以实现有效的迁移学习？
• RQ3 单分支变压器架构是否能在显著减少参数量的前提下，超越多分支 CNN 在 2D+3D FER 中的表现？
• RQ4 将噪声样本过滤至子类别在多大程度上提升了模型的泛化能力与准确率？

主要发现

• MFEViT 在 BU-3DFE 数据集上达到 90.83% 的 SOTA 准确率，在 Bosphorus 数据集上达到 90.28%，优于现有 SOTA 方法。
• 模型参数量减少至约 2300 万，显著低于多分支 CNN（如 VGG-M-DF 的 3.27 亿参数和 DA-CNN 的 4.63 亿参数）。
• 与无子类别过滤的基线相比，样本过滤模块在 BU-3DFE 上提升准确率 1.39%，在 Bosphorus 上提升 1.11%。
• 替代性融合策略有效缩小了 RGB 与多模态数据之间的分布差距，使 ImageNet 预训练的 ViT 能够实现更优的迁移。
• 可视化结果表明，子类别重分配后，正常样本与噪声样本之间的距离显著减小，验证了过滤模块的有效性。
• 混淆矩阵显示，快乐与惊讶等表情的识别准确率更高，而恐惧与悲伤因肌肉运动细微，仍具挑战性。