[论文解读] Improving Zero-Shot Models with Label Distribution Priors

Jonathan Kahana, Niv Cohen+1 more|arXiv (Cornell University)|Dec 1, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 CLIPPR，一种无需使用任何标注数据即可提升零样本视觉-语言模型（如 CLIP）性能的方法，通过利用标签上的先验分布。该方法训练一个适配器网络，在保留 CLIP 原始零样本预测能力与使预测标签分布与假设先验对齐之间取得平衡，从而在 UTK 年龄回归任务上将平均绝对误差降低 28%，在 ImageNet 分类任务上实现 2.83% 的准确率提升。

ABSTRACT

Labeling large image datasets with attributes such as facial age or object type is tedious and sometimes infeasible. Supervised machine learning methods provide a highly accurate solution, but require manual labels which are often unavailable. Zero-shot models (e.g., CLIP) do not require manual labels but are not as accurate as supervised ones, particularly when the attribute is numeric. We propose a new approach, CLIPPR (CLIP with Priors), which adapts zero-shot models for regression and classification on unlabelled datasets. Our method does not use any annotated images. Instead, we assume a prior over the label distribution in the dataset. We then train an adapter network on top of CLIP under two competing objectives: i) minimal change of predictions from the original CLIP model ii) minimal distance between predicted and prior distribution of labels. Additionally, we present a novel approach for selecting prompts for Vision & Language models using a distributional prior. Our method is effective and presents a significant improvement over the original model. We demonstrate an improvement of 28% in mean absolute error on the UTK age regression task. We also present promising results for classification benchmarks, improving the classification accuracy on the ImageNet dataset by 2.83%, without using any labels.

研究动机与目标

• 解决 CLIP 等零样本模型在回归任务上表现不佳的问题，原因在于标签分布不匹配。
• 克服缺乏标注数据的问题，特别是针对长尾属性或数值型属性（如年龄）的训练。
• 通过引入标签分布的先验知识，在无需标注样本的情况下提升零样本分类与回归性能。
• 开发一种仅使用无标签数据和标签分布先验来适应预训练视觉-语言模型的方法。
• 通过最小化对超参数的依赖并保持与原始模型预测的一致性，实现在多种数据集上的稳健适应。

提出的方法

• 在冻结的视觉-语言（V&L）模型编码器（如 CLIP）之上训练适配器模块，仅使用无标签图像和标签分布先验。
• 通过两个相互竞争的目标优化适配器：(1) 最小化与原始 CLIP 零样本预测的偏差（通过 logits 上的 L2 损失）；(2) 最小化预测标签分布与先验标签分布之间的分布距离（通过 Wasserstein 距离）。
• 使用两个目标的加权组合，其中超参数 α 平衡保留原始预测与拟合先验之间的权衡。
• 基于标签先验选择特定任务的文本提示，从而在无标注数据的情况下改进零样本任务的提示工程。
• 对于多变量回归扩展，使用切片 Wasserstein 距离进行分布匹配，尽管此部分留待未来工作。
• 从外部来源或领域知识（如人口统计数据或已知数据分布）估计标签先验。

实验结果

研究问题

• RQ1 在完全无标注数据的情况下，标签分布先验是否能显著提升零样本回归性能？
• RQ2 如何在无标签访问的情况下，使视觉-语言模型更好地反映目标数据集的真实标签分布？
• RQ3 在保留原始零样本预测的同时与标签先验对齐，能在多大程度上提升模型在多样化任务上的准确率？
• RQ4 所提方法是否能在极少超参数调优的情况下泛化至回归与分类任务？
• RQ5 当标签先验估计不准确或基础 V&L 模型的零样本预测出现失败时，该方法的鲁棒性如何？

主要发现

• CLIPPR 将 UTK 年龄回归基准上的平均绝对误差（MAE）从 7.99 降低至 5.73，相较于 CLIP 的零样本性能实现 28% 的相对改进。
• 该方法在 ImageNet 上的 top-1 分类准确率相比 CLIP 的零样本基线提升 2.83%，且未使用任何标注样本。
• 该方法在多个数据集上均实现一致改进，最优性能出现在 α = 1 时，且在不同 α 值（0.3、1、3）下均保持稳健。
• 即使在 UTK 数据集上仅使用每类 32 个样本的少样本方法 Tip-Adapter 作为对比，CLIPPR 仍表现更优，证明其具备强大的零样本泛化能力。
• 该方法在回归与分类任务中均有效，表明可利用分布先验来增强跨模态的零样本性能。
• 当 CLIP 的零样本预测本质上错误（如呈现随机分布）时，会出现失败案例，因为该方法依赖于基础模型输出作为起点。