[论文解读] Feature Pyramid Network for Multi-task Affective Analysis
本文提出一种基于特征金字塔网络（FPN）的多任务模型，用于联合预测愉悦度-唤醒度、面部表情和动作单元，通过层次化特征学习和教师-学生训练策略，有效处理Aff-Wild2数据集中缺失标签的问题。该模型在关键指标上表现优于基线模型2%至10%，达到当前最优性能。
Affective Analysis is not a single task, and the valence-arousal value, expression class, and action unit can be predicted at the same time. Previous researches did not pay enough attention to the entanglement and hierarchical relation of these three facial attributes. We propose a novel model named feature pyramid networks for multi-task affect analysis. The hierarchical features are extracted to predict three labels and we apply a teacher-student training strategy to learn from pretrained single-task models. Extensive experiment results demonstrate the proposed model outperforms other models. This is a submission to The 2nd Workshop and Competition on Affective Behavior Analysis in the wild (ABAW). The code and model are available for research purposes at https://github.com/ryanhe312/ABAW2-FPNMAA.
研究动机与目标
- 为解决多任务情感分析的挑战，通过联合预测愉悦度-唤醒度、面部表情和动作单元来实现。
- 通过特征金字塔网络，挖掘愉悦度-唤醒度、面部表情与动作单元之间层次化且相互关联的特性。
- 利用教师-学生训练策略，解决Aff-Wild2数据集中因标签缺失导致的数据稀疏问题。
- 提升模型在真实世界、非约束性面部数据上的泛化能力与性能表现。
提出的方法
- 采用特征金字塔网络（FPN）主干网络，从面部图像中提取多尺度的层次化特征。
- 为愉悦度-唤醒度、表情和动作单元预测分别设计三个任务特定的分类头，每个分类头均连接来自多个FPN层的融合特征。
- 应用教师-学生蒸馏策略，利用预训练的单任务模型在标签不完整样本上指导多任务模型的训练。
- 通过引入ExpW和AffectNet数据集对Aff-Wild2数据集进行数据增强，以提升数据多样性与模型鲁棒性。
- 采用加权损失组合策略进行多任务学习，联合优化各任务的指标（CCC、F1、TAcc）。
- 通过分类头中绝对权重的可视化，分析各网络层对不同任务的特征贡献。
实验结果
研究问题
- RQ1共享的特征金字塔主干网络能否有效建模愉悦度-唤醒度、面部表情与动作单元之间的层次化与纠缠关系？
- RQ2当不同任务的标签缺失或不完整时，如何有效训练多任务模型？
- RQ3从预训练的单任务模型中进行知识蒸馏，是否能提升多任务情感分析的性能？
- RQ4通过外部数据集（ExpW、AffectNet）进行数据增强，能在多大程度上提升模型在Aff-Wild2基准上的泛化能力？
主要发现
- 所提出的多任务FPN模型在关键评估指标上优于官方基线模型及其他模型（如MobileNet和ResNet），性能提升2%至10%。
- 通过ExpW和AffectNet进行数据增强，使愉悦度-唤醒度与表情预测得分提升了约10%。
- 教师-学生训练策略显著提升了模型性能，尤其在标签缺失样本上表现突出，实现了高效的多任务学习。
- 特征可视化显示任务特异性偏好：愉悦度-唤醒度预测依赖于早期FPN层（如第1层），而动作单元预测则依赖更深的层（第3–4层）。
- 该模型在Aff-Wild2验证集上达到当前最优结果，展现出在联合预测三种情感属性方面的卓越性能。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。