[论文解读] DRPT: Disentangled and Recurrent Prompt Tuning for Compositional Zero-Shot Learning

Xiaocheng Lu, Ziming Liu+5 more|arXiv (Cornell University)|May 2, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出DRPT，一种用于组合零样本学习（CZSL）的解耦且循环的提示微调框架，通过在视觉-语言模型中逐步且独立地微调对象和状态标记，减轻了状态与对象基元之间的梯度纠缠。与SOTA方法相比，DRPT在UT-Zappos和C-GQA基准上实现了更高的准确率和效率，在零样本图像-文本检索和未见组合的泛化能力方面均达到最先进性能。

ABSTRACT

Compositional Zero-shot Learning (CZSL) aims to recognize novel concepts composed of known knowledge without training samples. Standard CZSL either identifies visual primitives or enhances unseen composed entities, and as a result, entanglement between state and object primitives cannot be fully utilized. Admittedly, vision-language models (VLMs) could naturally cope with CZSL through tuning prompts, while uneven entanglement leads prompts to be dragged into local optimum. In this paper, we take a further step to introduce a novel Disentangled and Recurrent Prompt Tuning framework termed DRPT to better tap the potential of VLMs in CZSL. Specifically, the state and object primitives are deemed as learnable tokens of vocabulary embedded in prompts and tuned on seen compositions. Instead of jointly tuning state and object, we devise a disentangled and recurrent tuning strategy to suppress the traction force caused by entanglement and gradually optimize the token parameters, leading to a better prompt space. Notably, we develop a progressive fine-tuning procedure that allows for incremental updates to the prompts, optimizing the object first, then the state, and vice versa. Meanwhile, the optimization of state and object is independent, thus clearer features can be learned to further alleviate the issue of entangling misleading optimization. Moreover, we quantify and analyze the entanglement in CZSL and supplement entanglement rebalancing optimization schemes. DRPT surpasses representative state-of-the-art methods on extensive benchmark datasets, demonstrating superiority in both accuracy and efficiency.

研究动机与目标

• 为解决在组合零样本学习（CZSL）的提示微调中，状态与对象基元之间的纠缠问题，该问题阻碍了优化并导致次优收敛。
• 通过利用提示微调，提升视觉-语言模型（VLM）对未见组合概念（如“蓝色苹果”）的泛化能力，而无需训练数据。
• 开发一种渐进式、解耦的微调策略，独立优化状态和对象标记，以减少因不均衡纠缠带来的牵引力影响。
• 通过新型度量指标——平均纠缠率和纠缠方差，量化并分析CZSL中的纠缠现象，并将再平衡机制融入优化过程。
• 证明DRPT在多个基准数据集上，相较于现有SOTA方法，在准确率和效率方面均表现更优。

提出的方法

• DRPT引入了一种解耦且循环的提示微调策略，在训练过程中交替冻结和更新对象与状态标记，以减少由纠缠引起的梯度干扰。
• 该方法采用渐进式微调调度，先微调对象提示，再微调状态提示，反之亦然，从而实现对每类基元的独立优化。
• 设计了一种状态转换序列机制，用于探索最优微调顺序（如 o→a→ao），消融实验表明该序列性能最佳。
• 框架通过平均纠缠率和纠缠方差量化纠缠程度，并应用再平衡策略以缓解高度纠缠提示带来的优化偏差。
• DRPT将状态和对象基元视为提示中的可学习标记，以解耦、循环的方式联合微调，从而提升提示空间的优化效果。
• 该方法在UT-Zappos和C-GQA上进行评估，采用标准的零样本检索指标（S, U, HM, AUC）衡量对已见和未见组合的性能表现。

实验结果

研究问题

• RQ1 在视觉-语言模型的组合零样本学习中，状态与对象基元之间的纠缠如何影响提示微调？
• RQ2 解耦且循环的微调策略能否减轻不均衡纠缠的负面影响，并改善优化收敛性？
• RQ3 在CZSL中，为最大化性能，状态和对象提示的最优训练序列是什么？
• RQ4 如何对纠缠进行定量测量并实现再平衡，以提升模型泛化能力？
• RQ5 DRPT是否在标准CZSL基准上，相较于现有SOTA方法，在准确率和效率方面均表现更优？

主要发现

• DRPT在UT-Zappos和C-GQA上均取得最佳性能，C-GQA上平均准确率为64.5%（HM）和29.2%（AUC），优于联合微调及其他基线方法。
• 状态转换序列'o→a→ao'表现最佳，C-GQA上HM为64.5%，AUC为29.2%，表明独立、渐进式微调比联合微调更有效。
• 消融研究证实，解耦微调和循环优化均不可或缺：任一缺失均导致C-GQA上HM下降超过2个百分点。
• 所提出的纠缠度量指标——平均纠缠率与方差——揭示高度纠缠的提示难以更新且误导优化，验证了再平衡的必要性。
• 定性结果表明，对象比状态更具可预测性，且DRPT能成功检索已见和未见组合的相关图像，仅在“Greed Bush”等模糊案例中出现少量失败。
• 与联合微调相比，DRPT在AUC上将未见组合的泛化能力提升了3.5–5.5个百分点，证明其在零样本泛化中的有效性。