[论文解读] Alpha-CLIP: A CLIP Model Focusing on Wherever You Want

Zeyi Sun, Fang Ye+7 more|arXiv (Cornell University)|Dec 6, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

Alpha-CLIP 通过引入辅助的 alpha 通道，实现区域特定的关注机制，使模型能够在不改变输入内容的前提下，聚焦于用户定义的图像区域。该方法在零样本分类任务中取得显著性能提升（top-1 准确率提升 4.1%），减少视觉问答和图像字幕任务中的幻觉现象，并在 2D/3D 生成任务中实现可控生成，且推理开销极低。

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) plays an essential role in extracting valuable content information from images across diverse tasks. It aligns textual and visual modalities to comprehend the entire image, including all the details, even those irrelevant to specific tasks. However, for a finer understanding and controlled editing of images, it becomes crucial to focus on specific regions of interest, which can be indicated as points, masks, or boxes by humans or perception models. To fulfill the requirements, we introduce Alpha-CLIP, an enhanced version of CLIP with an auxiliary alpha channel to suggest attentive regions and fine-tuned with constructed millions of RGBA region-text pairs. Alpha-CLIP not only preserves the visual recognition ability of CLIP but also enables precise control over the emphasis of image contents. It demonstrates effectiveness in various tasks, including but not limited to open-world recognition, multimodal large language models, and conditional 2D / 3D generation. It has a strong potential to serve as a versatile tool for image-related tasks.

研究动机与目标

• 使基于 CLIP 的模型能够在不破坏上下文信息或修改输入内容的前提下，聚焦于特定图像区域。
• 解决现有区域聚焦方法的局限性，这些方法通常通过裁剪或掩码图像来实现，但会破坏上下文或改变视觉数据。
• 开发一种即插即用的解决方案，在保持 CLIP 通用性的同时，实现细粒度的、区域感知的理解与生成能力。
• 利用 SAM 和多模态字幕模型构建大规模的 RGBA 区域-文本配对数据集，以支持有效微调。
• 在多种下游任务中验证 Alpha-CLIP 的有效性，包括图像识别、多模态大语言模型以及 2D/3D 生成任务。

提出的方法

• 在 CLIP 中引入辅助的 alpha 通道输入，使模型能够选择性地关注用户定义的区域，同时保留完整的图像上下文。
• 在图像-文本对与数百万个区域-文本对的混合数据上微调 CLIP 主干网络，其中区域通过掩码、点或框进行定义。
• 利用 Segment Anything Model (SAM) 和多模态字幕模型（如 BLIP-2）自动生成高质量的 RGBA 区域-文本训练数据。
• 采用即插即用的方法：在现有系统（如 BLIP-2、LLaVA、BLIP-Diffusion）中直接替换原始 CLIP，无需进一步微调，即可实现区域聚焦行为。
• 可视化最终 Transformer 块中的注意力图，验证 Alpha-CLIP 在不扭曲空间特征位置的前提下，增强了对用户定义区域的关注。
• 将 Alpha-CLIP 应用于基于扩散模型和神经辐射场（NeRF）的 3D 生成任务，评估其在修复缺失部分或强调特定区域方面的能力。

实验结果

研究问题

• RQ1 增强后的 CLIP 模型是否能够在不修改输入图像或破坏上下文理解的前提下，聚焦于特定图像区域？
• RQ2 添加 alpha 通道对零样本图像分类准确率和基于区域的识别性能有何影响？
• RQ3 Alpha-CLIP 在多模态大语言模型中，对区域聚焦的视觉问答和图像字幕任务，能在多大程度上减少幻觉并提升准确性？
• RQ4 Alpha-CLIP 是否能够通过引导扩散模型或 NeRF 模型，实现对图像或 3D 生成中特定部分的强调或修正，从而实现可控生成？
• RQ5 Alpha-CLIP 在增强对用户定义区域的关注时，是否保持了 CLIP 的空间定位能力？

主要发现

• 当提供真实标注区域时，Alpha-CLIP 在零样本 ImageNet 分类基准上实现了 4.1% 的 top-1 准确率绝对提升。
• 在区域聚焦的视觉问答和图像字幕任务中，与原始 CLIP 相比，Alpha-CLIP 显著减少了幻觉现象（例如错误的物体属性描述，如“黑色衬衫”）。
• 在 BLIP-Diffusion 中替换原始 CLIP 后，Alpha-CLIP 实现了以主体为中心的图像生成，提升了生成质量与用户定义的关注度，即使在复杂场景中也表现优异。
• 在使用 Point-E 和 PureCLIPNeRF 的 3D 生成任务中，Alpha-CLIP 有效修复了缺失部分并强调了特定区域，在物体重建质量上优于原始 CLIP。
• 注意力图可视化结果表明，Alpha-CLIP 增强了对用户定义区域的关注，同时保持了原始特征的空间结构。
• 将 Alpha-CLIP 即插即用集成到现有系统（如 LLaVA、BLIP-2、扩散模型）中，无需额外微调或显著增加推理成本，即可实现一致的性能提升。