[论文解读] Learning to Amend Facial Expression Representation via De-albino and Affinity

Jiawei Shi, Songhao Zhu+1 more|arXiv (Cornell University)|Mar 18, 2021

Emotion and Mood Recognition参考文献 39被引用 62

一句话总结

引入 Amend Representation Module（ARM）以替代 CNN 的池化，解决填充侵蚀（白化特征）问题，并利用表达之间的相似性来提升 FER 准确率；在 RAF-DB、AffectNet 与 SFEW 数据集上实现了先如��� 结果。

ABSTRACT

Facial Expression Recognition (FER) is a classification task that points to face variants. Hence, there are certain affinity features between facial expressions, receiving little attention in the FER literature. Convolution padding, despite helping capture the edge information, causes erosion of the feature map simultaneously. After multi-layer filling convolution, the output feature map named albino feature definitely weakens the representation of the expression. To tackle these challenges, we propose a novel architecture named Amending Representation Module (ARM). ARM is a substitute for the pooling layer. Theoretically, it can be embedded in the back end of any network to deal with the Padding Erosion. ARM efficiently enhances facial expression representation from two different directions: 1) reducing the weight of eroded features to offset the side effect of padding, and 2) decomposing facial features to simplify representation learning. Experiments on public benchmarks prove that our ARM boosts the performance of FER remarkably. The validation accuracies are respectively 90.42% on RAF-DB, 65.2% on Affect-Net, and 58.71% on SFEW, exceeding current state-of-the-art methods. Our implementation and trained models are available at https://github.com/JiaweiShiCV/Amend-Representation-Module.

研究动机与目标

• 识别并缓解基于 CNN 的 FER 中填充引发的白化特征侵蚀。
• 提出 ARM 作为池化的替代，以保留与表达相关的信息。
• 利用面部表情之间的相似性简化表征学习。
• 在标准 FER 数据集上展示提升，并给出消融以验证组件。

提出的方法

• 用 De-albino（DA）块取代池化以抑制边缘侵蚀特征。
• 使用 Feature Arrangement（FA）块在不进行填充的情况下重新排列特征图。
• 引入 Sharing Affinity（SA）块通过基于 EMA 的相似度建模通用与独特表达成分。
• 在 ResNet-18 主干中嵌入 ARM，并使用 Adam 优化器和标准 FER 训练 protocol 进行训练。
• 在微调阶段可选性地应用最小随机重采样（MRR）以平衡 AffectNet 数据。

实验结果

研究问题

• RQ1 填充引起的白化特征是否会降低 FER 表征？在不使用填充的情况下是否可以缓解？
• RQ2 一种重新排列和重新加权特征图的模块是否能在野外数据集上提升 FER 性能？
• RQ3 基于相似性的表达表征是否能在 FER 任务中带来可测量的增益？

主要发现

Dataset	Method	Accuracy
RAF-DB	ResNet-18 (ARM)	90.42%
AffectNet (7 cls)	ResNet-18 (ARM)	65.2%
SFEW	ResNet-18 (ARM)	58.71%

• ARM 将 ResNet-18 的性能从 86.4 提升到 90.42 WA（state-of-the-art，基于 RAF-DB）。
• ARM 在 AffectNet（7 类）上达到 65.2% 准确率，在 SFEW（7 类/8 类变体参考）上达到 58.71% 。
• 消融结果表明 DA 与 SA 块带来明显提升，FA 对 DA 的辅助进一步提升。
• ARM 在所评估的数据集上优于若干基线和现有的 FER 方法。