[论文解读] Leveraging Vision-Language Models for Improving Domain Generalization in Image Classification

Sravanti Addepalli, Ashish Ramayee Asokan+2 more|arXiv (Cornell University)|Oct 12, 2023

Safety Warnings and SignagePsychology被引用 3

一句话总结

该论文提出VL2V-ADiP，一种在黑盒设置下通过将视觉语言模型（VLM）蒸馏到学生模型中来提升图像分类模型分布外（OOD）泛化能力的方法。该方法在蒸馏前将学生模型的视觉特征与VLM的图像和文本嵌入对齐，显著提升了OOD性能，同时保留了学生模型的预训练特征，在领域泛化基准上取得了最先进结果。

ABSTRACT

Vision-Language Models (VLMs) such as CLIP are trained on large amounts of image-text pairs, resulting in remarkable generalization across several data distributions. However, in several cases, their expensive training and data collection/curation costs do not justify the end application. This motivates a vendor-client paradigm, where a vendor trains a large-scale VLM and grants only input-output access to clients on a pay-per-query basis in a black-box setting. The client aims to minimize inference cost by distilling the VLM to a student model using the limited available task-specific data, and further deploying this student model in the downstream application. While naive distillation largely improves the In-Domain (ID) accuracy of the student, it fails to transfer the superior out-of-distribution (OOD) generalization of the VLM teacher using the limited available labeled images. To mitigate this, we propose Vision-Language to Vision - Align, Distill, Predict (VL2V-ADiP), which first aligns the vision and language modalities of the teacher model with the vision modality of a pre-trained student model, and further distills the aligned VLM representations to the student. This maximally retains the pre-trained features of the student, while also incorporating the rich representations of the VLM image encoder and the superior generalization of the text embeddings. The proposed approach achieves state-of-the-art results on the standard Domain Generalization benchmarks in a black-box teacher setting as well as a white-box setting where the weights of the VLM are accessible.

研究动机与目标

• 为解决尽管视觉语言模型（VLM）具备优越泛化能力，但其蒸馏出的学生模型在OOD泛化方面表现不佳的问题。
• 探究在仅能获取标注图像的情况下，如何有效将VLM的鲁棒性迁移至单模态学生模型。
• 开发一种方法，利用VLM教师模型的图像和文本嵌入，而无需访问其权重或完整架构。
• 在保留学生模型预训练特征并最小化推理成本的前提下，提升蒸馏学生模型的OOD性能。
• 在黑盒和全访问设置下，均展示出领域泛化任务的最先进性能。

提出的方法

• 提出VL2V-ADiP：一种三阶段框架——视觉语言到视觉对齐、蒸馏、预测——专为从VLM向单模态学生模型蒸馏而设计。
• 首先，使用对比对齐目标将学生模型的视觉特征与VLM的图像和文本嵌入对齐。
• 其次，使用学生特征与VLM图像和文本嵌入之间加权余弦相似度损失，将对齐后的VLM嵌入蒸馏到学生模型中。
• 损失函数结合了两种模态的监督：$\mathcal{L} = -\frac{1}{2n}\sum_{i=1}^{n}\big{(}(1-\lambda)\cdot\cos(\mathbf{PF}^{s}_{x_{i}},\mathbf{T}_{y_{i}}) + \lambda\cdot\cos(\mathbf{PF}^{s}_{x_{i}},\mathbf{I}^{t}_{x_{i}})\big{)}$，其中$\lambda = 0.5$为默认值。
• 使用在ImageNet-1K上预训练的学生模型，避免对VLM进行完整微调，且不共享权重或访问VLM的内部参数。
• 该方法使VLM的文本嵌入可直接用作学生模型中的分类器，无需进一步微调，从而增强OOD鲁棒性。

实验结果

研究问题

• RQ1 当仅能获取标注图像时，视觉语言模型的优越OOD泛化能力是否能有效迁移至单模态学生模型？
• RQ2 与仅使用图像嵌入相比，VLM的文本嵌入在增强OOD鲁棒性方面起到什么作用？
• RQ3 在数据有限条件下，学生模型与黑盒VLM之间的特征对齐如何提升蒸馏性能？
• RQ4 在蒸馏过程中，图像与文本嵌入监督的均衡融合是否比仅依赖图像监督带来更好的OOD泛化？
• RQ5 当VLM不可访问时，自蒸馏技术是否能提升OOD泛化能力，其效果与直接从VLM蒸馏相比如何？

主要发现

• 在Office-Home数据集上，VL2V-ADiP实现了最先进OOD泛化性能，跨领域的平均OOD准确率达到81.89%，优于先前方法如SAGM（79.60%）和DART（77.29%）。
• 在PACS数据集上，VL2V-ADiP实现96.68%的平均OOD准确率，超过次优方法SAGM（94.30%），显著优于ERM微调（91.35%）。
• 在DomainNet上，VL2V-ADiP在CLIP初始化下实现62.79%的平均OOD准确率，超过SAGM（59.05%）和DART（59.32%），表明其在高度偏移领域中的强大性能。
• 该方法在领域偏移最大的领域（如ClipArt（OH）、Infograph（DN）和Painting（OH））中取得最大提升，表明成功迁移了VLM的鲁棒性。
• 消融研究证实，图像与文本嵌入损失的等权重（$\lambda = 0.5$）在各数据集上均表现稳健，对超参数调优不敏感。
• 即使VLM仅通过黑盒推理访问，VL2V-ADiP仍保持强性能，使其在供应商-客户场景中具备实际部署可行性。