[论文解读] DesCo: Learning Object Recognition with Rich Language Descriptions

Liunian Harold Li, Zi-Yi Dou+2 more|arXiv (Cornell University)|Jun 24, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

DesCo 通过利用大型语言模型生成对象的丰富常识性描述，并构建上下文敏感的查询，提出了一种新颖的视觉-语言范式，用于零样本目标检测，从而提升模型对细粒度视觉细节的理解。该方法在 LVIS 上实现了 34.8 AP 的最先进性能，在 OminiLabel 上达到 29.3 AP，显著优于 GLIP 和 FIBER，在零样本检测设置下分别提升超过 9 和 3.6 个点。

ABSTRACT

Recent development in vision-language approaches has instigated a paradigm shift in learning visual recognition models from language supervision. These approaches align objects with language queries (e.g. "a photo of a cat") and improve the models' adaptability to identify novel objects and domains. Recently, several studies have attempted to query these models with complex language expressions that include specifications of fine-grained semantic details, such as attributes, shapes, textures, and relations. However, simply incorporating language descriptions as queries does not guarantee accurate interpretation by the models. In fact, our experiments show that GLIP, the state-of-the-art vision-language model for object detection, often disregards contextual information in the language descriptions and instead relies heavily on detecting objects solely by their names. To tackle the challenges, we propose a new description-conditioned (DesCo) paradigm of learning object recognition models with rich language descriptions consisting of two major innovations: 1) we employ a large language model as a commonsense knowledge engine to generate rich language descriptions of objects based on object names and the raw image-text caption; 2) we design context-sensitive queries to improve the model's ability in deciphering intricate nuances embedded within descriptions and enforce the model to focus on context rather than object names alone. On two novel object detection benchmarks, LVIS and OminiLabel, under the zero-shot detection setting, our approach achieves 34.8 APr minival (+9.1) and 29.3 AP (+3.6), respectively, surpassing the prior state-of-the-art models, GLIP and FIBER, by a large margin.

研究动机与目标

• 为解决视觉-语言模型在理解复杂、描述性语言查询方面存在的局限性，这些查询超出了简单物体名称的范围。
• 提升模型对语言描述中细粒度视觉属性、形状、纹理和关系的敏感度。
• 克服现有模型中‘词袋’行为的问题，即忽略描述中的上下文细微差别。
• 开发一种训练范式，激励模型使用丰富描述，而非仅依赖物体名称。
• 证明 LLM 生成的描述和上下文感知的查询设计能显著提升目标检测中的零样本泛化能力。

提出的方法

• 利用大型语言模型（如 GPT）作为常识知识引擎，从物体名称和原始图像-文本描述中生成详细、描述性的图像字幕。
• 通过移除中心实体名称并强调描述性属性，构建上下文敏感的查询，迫使模型依赖上下文特征。
• 引入 LLM 生成的困难负样本字幕，以提升模型在相似概念之间的区分能力，增强上下文理解。
• 使用对比目标在富含 LLM 生成的丰富描述的图像-文本对上训练视觉-语言模型（基于 GLIP）。
• 通过消融研究验证各组件的有效性，包括描述质量、名称移除和负样本字幕注入。
• 利用 LLM 的模型规模扩展（如 GPT-Davinci）证明，更高质量的描述可带来检测性能的提升。

实验结果

研究问题

• RQ1 大型语言模型能否有效生成包含细粒度视觉属性和关系的丰富、描述性字幕，以支持物体识别？
• RQ2 从查询中移除物体名称是否能提升视觉模型对上下文和描述性特征的敏感度？
• RQ3 LLM 生成的困难负样本字幕能否增强模型基于细微差异区分相似物体的能力？
• RQ4 与标准模板相比，LLM 生成的描述在多大程度上提升了目标检测中的零样本泛化能力？
• RQ5 语言描述的质量（如小型模型与大型模型生成的描述）如何影响下游检测性能？

主要发现

• 在零样本检测设置下，DesCo 在 LVIS 基准上达到 34.8 AP，相比之前最先进模型 GLIP 提升了 +9.1 个点。
• 在 OminiLabel 基准上，DesCo 达到 29.3 AP，相比 GLIP 和 FIBER 提升了 +3.6 个点，表明其在新类别上的强大泛化能力。
• 从查询中移除实体名称使模型在 Δ Conf 指标上提升了 10.7 个百分点，表明其对描述性细节的关注度更高。
• 使用困难负样本字幕可提升检测性能并保持高水平的上下文理解，最佳消融实验中 Δ Conf 提升了 10.5 个百分点。
• 更大的语言模型（如 GPT-Davinci）生成的描述质量更高，使 LVIS 上的 AP 达到 34.6，而 GPT-Ada 仅为 19.9。
• 消融研究证实，若不进行上下文敏感的设计，仅直接附加描述无法提升性能或上下文敏感度，凸显了查询工程的必要性。