[论文解读] CILF-CIAE: CLIP-driven Image-Language Fusion for Correcting Inverse Age Estimation

Yuntao Shou, Wei Ai+3 more|arXiv (Cornell University)|Dec 4, 2023

Face recognition and analysis被引用 5

一句话总结

该论文提出CZL-CIAE，一种基于CLIP的零样本年龄估计框架，通过对比视觉-语言特征、基于傅里叶的Transformer（FourierFormer）实现空间与通道特征融合，并引入可逆误差校正模块，以提升对未见年龄类别的预测准确率。该方法在多个基准测试中达到最先进性能，在零样本设置下，与基线CLIP相比，平均绝对误差（MAE）降低高达25%，且在30%未见类别情况下表现优异。

ABSTRACT

The age estimation task aims to predict the age of an individual by analyzing facial features in an image. The development of age estimation can improve the efficiency and accuracy of various applications (e.g., age verification and secure access control, etc.). In recent years, contrastive language-image pre-training (CLIP) has been widely used in various multimodal tasks and has made some progress in the field of age estimation. However, existing CLIP-based age estimation methods require high memory usage (quadratic complexity) when globally modeling images, and lack an error feedback mechanism to prompt the model about the quality of age prediction results. To tackle the above issues, we propose a novel CLIP-driven Image-Language Fusion for Correcting Inverse Age Estimation (CILF-CIAE). Specifically, we first introduce the CLIP model to extract image features and text semantic information respectively, and map them into a highly semantically aligned high-dimensional feature space. Next, we designed a new Transformer architecture (i.e., FourierFormer) to achieve channel evolution and spatial interaction of images, and to fuse image and text semantic information. Compared with the quadratic complexity of the attention mechanism, the proposed Fourierformer is of linear log complexity. To further narrow the semantic gap between image and text features, we utilize an efficient contrastive multimodal learning module that supervises the multimodal fusion process of FourierFormer through contrastive loss for image-text matching, thereby improving the interaction effect between different modalities. Finally, we introduce reversible age estimation, which uses end-to-end error feedback to reduce the error rate of age predictions. Through extensive experiments on multiple data sets, CILF-CIAE has achieved better age prediction results.

研究动机与目标

• 解决现有零样本年龄估计方法在未见年龄类别上的性能不佳问题。
• 在无需为未见年龄组提供标注训练数据的前提下，提升年龄估计的泛化能力。
• 引入可控制误差的反馈机制，以减少年龄估计中的预测误差。
• 利用CLIP预训练的视觉-语言对齐能力，实现零样本迁移至年龄估计任务。
• 设计一种新型基于傅里叶的Transformer架构，以增强空间与通道特征间的交互。

提出的方法

• 利用CLIP的图像与文本编码器，在共享嵌入空间中提取对齐的视觉与文本特征。
• 提出FourierFormer架构，用傅里叶先验替代标准注意力机制，以建模图像特征中的空间与通道交互。
• 通过图像与文本特征之间的对比学习，对齐语义表示，实现零样本迁移。
• 采用可逆年龄估计模块，利用端到端误差反馈机制优化预测，降低回归误差。
• 通过FourierFormer融合CLIP编码的图像与文本特征，生成上下文感知的表示用于年龄预测。
• 使用结合对比学习与年龄回归的多任务损失，端到端训练整个模型。

实验结果

研究问题

• RQ1 在未对标注年龄数据进行微调的情况下，能否有效利用CLIP预训练的视觉-语言特征实现零样本年龄估计？
• RQ2 在Transformer架构中，用傅里叶先验替代标准注意力机制，对年龄估计中的特征表示有何影响？
• RQ3 端到端误差校正机制在零样本设置下，能在多大程度上提升年龄预测准确率？
• RQ4 各个组件（空间交互、通道演化、误差校正）对未见年龄类别整体性能的贡献如何？
• RQ5 在高数据稀疏性条件下（如30%未见类别），所提方法是否比基线CLIP及现有零样本年龄估计模型具有更好的泛化能力？

主要发现

• 当30%的测试类别未见时，完整CZL-CIAE模型在全部六个数据集上均取得最低MAE，在MORPH-S1数据集上的平均MAE为23.7。
• 仅使用误差校正模块时，与基线CLIP模型相比，当20%类别未见时，平均MAE降低2.4个点。
• 空间交互与误差校正模块的结合表现最佳，相比仅使用通道演化模块，MAE降低3.2个点。
• 消融实验表明，空间交互、通道演化与误差校正三个模块均对性能有显著贡献，完整模型在所有设置下均优于各消融版本。
• 在FGNET数据集上，当30%类别未见时，CZL-CIAE的MAE为23.7，相比基线CLIP模型降低4.6个点。
• 该模型在所有测试划分中均保持一致的性能提升，表明其对未见年龄组中不同水平的领域偏移具有强鲁棒性。