[论文解读] Learning-to-Rank Meets Language: Boosting Language-Driven Ordering Alignment for Ordinal Classification

Rui Wang, Peipei Li+4 more|arXiv (Cornell University)|Jun 24, 2023

Face recognition and analysis被引用 4

一句话总结

该论文提出 L2RCLIP，一种视觉-语言模型，通过一种新颖的提示微调方法 RankFormer 以及跨模态序数成对损失，利用语言先验来增强序数分类。通过在 CLIP 的特征空间中同时提升语义对齐与排序对齐，L2RCLIP 在面部年龄估计、美学评估和历史图像定年任务上取得了最先进性能，相较于之前的方法，准确率最高提升 3.02%，平均绝对误差（MAE）降低 0.35。

ABSTRACT

We present a novel language-driven ordering alignment method for ordinal classification. The labels in ordinal classification contain additional ordering relations, making them prone to overfitting when relying solely on training data. Recent developments in pre-trained vision-language models inspire us to leverage the rich ordinal priors in human language by converting the original task into a visionlanguage alignment task. Consequently, we propose L2RCLIP, which fully utilizes the language priors from two perspectives. First, we introduce a complementary prompt tuning technique called RankFormer, designed to enhance the ordering relation of original rank prompts. It employs token-level attention with residual-style prompt blending in the word embedding space. Second, to further incorporate language priors, we revisit the approximate bound optimization of vanilla cross-entropy loss and restructure it within the cross-modal embedding space. Consequently, we propose a cross-modal ordinal pairwise loss to refine the CLIP feature space, where texts and images maintain both semantic alignment and ordering alignment. Extensive experiments on three ordinal classification tasks, including facial age estimation, historical color image (HCI) classification, and aesthetic assessment demonstrate its promising performance. The code is available at https://github.com/raywang335/L2RCLIP.

研究动机与目标

• 解决现有序数分类方法在数据稀缺或分布偏移情况下难以有效建模标签排序关系的局限性。
• 利用人类语言中丰富的序数先验，提升视觉-语言模型的泛化能力并减少过拟合。
• 在 CLIP 的跨模态嵌入空间中，同时确保语义对齐与排序对齐，以提升零样本和少样本性能。
• 开发一种方法，通过显式建模相对排名关系，在序数分类任务中超越现有视觉-语言模型。

提出的方法

• 提出 RankFormer，一种互补的提示微调技术，通过在词嵌入空间中应用标记级注意力与残差式融合，增强原始排名提示的排序关系。
• 通过引入语言先验，重新表述跨模态嵌入空间中交叉熵损失的近似边界，以提升泛化能力。
• 提出一种跨模态序数成对损失，强制在 CLIP 的嵌入空间中实现图像与文本特征之间的语义对齐与排序对齐。
• 使用插值排名模板在保持语义连贯性的同时维持相对顺序，避免了先前方法中常见的权衡问题。
• 采用双重优化策略：一个用于通过对比损失实现语义对齐，另一个用于通过成对排序约束实现排序对齐。
• 通过同时使用增强的排名提示与新型成对损失对 CLIP 进行微调，以优化序数分类的特征空间。

实验结果

研究问题

• RQ1 能否有效利用语言先验来提升视觉-语言模型在序数分类中的排序对齐？
• RQ2 如何增强提示微调方法，使其能显式建模相对排名关系，同时不损害语义对齐？
• RQ3 将语言中的序数先验引入 CLIP 特征空间是否能提升零样本和少样本序数分类的性能？
• RQ4 是否可以设计一种统一损失函数，同时优化跨模态嵌入空间中的语义对齐与排序对齐？
• RQ5 与 CoOp 和 OrdinalCLIP 等现有方法相比，该方法在数据分布偏移情况下的鲁棒性与泛化能力如何？

主要发现

• 在面部年龄估计任务中，L2RCLIP 将 MAE 降低 0.35，相较于不使用语言先验的最佳基线模型，达到最先进性能。
• 在 CrowdBeauty 数据集上，L2RCLIP 相较于 OrdinalCLIP，准确率提升 3.02%，MAE 降低 0.35，展现出在美学评估任务中的卓越性能。
• 在历史图像定年任务中，L2RCLIP 实现 MAE 为 0.43，准确率为 67.22%，显著优于之前最先进方法，且标准差更低。
• 消融实验证实，RankFormer 与跨模态序数成对损失均为关键组件，各自对性能提升有显著贡献。
• L2RCLIP 在少样本和数据分布偏移场景下表现出强鲁棒性，表明通过语言先验实现了有效泛化。
• 该方法成功维持了语义对齐与排序对齐，避免了如 OrdinalCLIP 等先前方法中常见的权衡问题。