[论文解读] Improving Visual Prompt Tuning by Gaussian Neighborhood Minimization for Long-Tailed Visual Recognition

Mengke Li, Ye Liu+4 more|arXiv (Cornell University)|Oct 28, 2024

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出高斯邻域最小化提示微调（GNM-PT），一种用于视觉提示微调（VPT）的新颖优化策略，可提升长尾视觉识别中的泛化性能。通过最小化模型参数高斯邻域内的平均损失——其提供比现有方法更紧的上界——该方法使损失曲面更加平坦，从而在不增加计算成本的前提下提升了尾部类别上的性能，分别在CIFAR100-LT（IR 100）、iNaturalist 2018和Places-LT上实现了90.3%、76.5%和50.1%的最先进准确率。

ABSTRACT

Long-tail learning has garnered widespread attention and achieved significant progress in recent times. However, even with pre-trained prior knowledge, models still exhibit weaker generalization performance on tail classes. The promising Sharpness-Aware Minimization (SAM) can effectively improve the generalization capability of models by seeking out flat minima in the loss landscape, which, however, comes at the cost of doubling the computational time. Since the update rule of SAM necessitates two consecutive (non-parallelizable) forward and backpropagation at each step. To address this issue, we propose a novel method called Random SAM prompt tuning (RSAM-PT) to improve the model generalization, requiring only one-step gradient computation at each step. Specifically, we search for the gradient descent direction within a random neighborhood of the parameters during each gradient update. To amplify the impact of tail-class samples and avoid overfitting, we employ the deferred re-weight scheme to increase the significance of tail-class samples. The classification accuracy of long-tailed data can be significantly improved by the proposed RSAM-PT, particularly for tail classes. RSAM-PT achieves the state-of-the-art performance of 90.3\%, 76.5\%, and 50.1\% on benchmark datasets CIFAR100-LT (IF 100), iNaturalist 2018, and Places-LT, respectively. The source code is temporarily available at https://github.com/Keke921/GNM-PT.

研究动机与目标

• 解决视觉提示微调（VPT）在长尾数据集上对尾部类别泛化能力差的问题。
• 通过平坦化损失曲面，提升所有类别（尤其是低频尾部类别）的泛化能力。
• 开发一种高效的优化策略，在不增加梯度计算的前提下保持模型性能。
• 为长尾学习提供一种理论基础扎实的替代Sharpness-Aware Minimization（SAM）的方法。
• 通过将高层提示信息与类别标记相结合，提升ViT-based模型的分类性能。

提出的方法

• 提出一种新颖的高斯邻域损失（GNM），通过最小化模型参数在随机高斯扰动下的期望损失来实现。
• 通过从正态分布中随机采样来近似邻域均值，避免显式计算梯度以估计尖锐度。
• 将SAM中的基于最大值的邻域损失替换为基于均值的损失，从而对真实损失分布提供更紧的上界。
• 在VPT训练过程中应用GNM损失，引导优化过程趋向更平坦的极小值，从而提升泛化能力。
• 将学习到的视觉提示与类别标记融合，以增强ViT-based模型中的分类表征。
• 该方法参数效率高且计算轻量化，除标准VPT外无需额外反向传播。

实验结果

研究问题

• RQ1 基于均值的邻域损失是否能比SAM等基于最大值的方法提供更紧的真损失分布上界？
• RQ2 最小化高斯参数邻域内的期望损失是否能导致更平坦的极小值，并在长尾识别中提升泛化性能？
• RQ3 GNM-PT是否能在不增加计算成本的前提下提升VPT在尾部类别上的性能？
• RQ4 在头部和尾部类别上的准确率与泛化能力方面，GNM-PT与SAM及其他SOTA方法相比表现如何？
• RQ5 在长尾设置下，将提示与类别标记结合是否能有效提升分类性能？

主要发现

• 在不平衡比为100的CIFAR100-LT上，GNM-PT实现了90.3%的最先进准确率，显著优于先前方法。
• 在iNaturalist 2018上，GNM-PT达到76.5%的top-1准确率，展现出在具有细粒度类别的长尾基准上的强大泛化能力。
• 在Places-LT上，GNM-PT取得50.1%的准确率，凸显其在极端类别不平衡条件下的细粒度长尾识别有效性。
• 该方法在所有类别上均提升了泛化能力，尤其在尾部类别上表现显著，同时保持了计算效率。
• 消融实验表明，GNM-PT在不增加训练成本的前提下提升了模型性能，验证了其高效性与鲁棒性。
• 理论分析表明，基于均值的邻域损失相比基于最大值的替代方法能提供更紧的上界，从而合理解释其更优的优化行为。