[论文解读] CPA-Enhancer: Chain-of-Thought Prompted Adaptive Enhancer for Object Detection under Unknown Degradations

Yu-Wei Zhang, Yan Wu+2 more|arXiv (Cornell University)|Mar 17, 2024

CCD and CMOS Imaging Sensors被引用 4

一句话总结

CPA-Enhancer 是一种即插即用的、基于思维链（CoT）提示的自适应增强模块，可在未知的、多重退化条件下提升目标检测性能，且无需事先了解退化类型。它通过思维链提示生成模块（CGM）和内容驱动提示块（CPB）动态调整增强策略，在 VM、RTTS 和 ExDarkA 等多样化基准上实现了最先进（SOTA）的 mAP 提升，同时显著增强了语义分割任务的性能。

ABSTRACT

Object detection methods under known single degradations have been extensively investigated. However, existing approaches require prior knowledge of the degradation type and train a separate model for each, limiting their practical applications in unpredictable environments. To address this challenge, we propose a chain-of-thought (CoT) prompted adaptive enhancer, CPA-Enhancer, for object detection under unknown degradations. Specifically, CPA-Enhancer progressively adapts its enhancement strategy under the step-by-step guidance of CoT prompts, that encode degradation-related information. To the best of our knowledge, it's the first work that exploits CoT prompting for object detection tasks. Overall, CPA-Enhancer is a plug-and-play enhancement model that can be integrated into any generic detectors to achieve substantial gains on degraded images, without knowing the degradation type priorly. Experimental results demonstrate that CPA-Enhancer not only sets the new state of the art for object detection but also boosts the performance of other downstream vision tasks under unknown degradations.

研究动机与目标

• 解决现有目标检测器依赖退化类型先验知识、在未知或多重退化条件下表现不佳的局限性。
• 开发一种统一的、即插即用的增强模块，可与任意通用检测器集成，而无需为每种退化类型重新训练。
• 探索思维链（CoT）提示在视觉任务中的可行性与有效性，特别是在目标检测中实现自适应图像增强。
• 提升检测模型在多种未见退化类型（如噪声、模糊、雾霾、低光照）下的鲁棒性与泛化能力。

提出的方法

• 该模型采用思维链提示生成模块（CGM），基于图像特征逐步生成与退化相关的提示，实现对退化类型的渐进式推理。
• 内容驱动提示块（CPB）通过可学习的注意力机制，将输入特征与 CoT 提示动态融合，实现对每个特征图的自适应增强。
• CPB 将特征图划分为 n 个部分，每个部分使用专用提示进行处理，实现细粒度、局部化的增强策略自适应。
• 整个 CPA-Enhancer 与检测器（如 YOLOv3）端到端联合训练，实现检测与增强的联合优化，无需成对的退化数据。
• 通过少样本或零样本泛化能力，模型学习从视觉线索中推断退化模式，而非依赖标注的退化类型。
• 该框架模块化设计，兼容多种检测器和下游任务，包括语义分割。

实验结果

研究问题

• RQ1 思维链提示能否有效应用于视觉任务（如目标检测）中的退化感知增强？
• RQ2 如何构建一个统一的增强模型，使其在无先验知识的情况下动态适应未知或多重退化类型？
• RQ3 与独立提示相比，CoT 提示在多种退化条件下的检测性能有何差异？
• RQ4 CPB 模块相较于简单的提示融合机制，在提升检测特征质量方面表现如何？
• RQ5 CPA-Enhancer 在未见退化类型（如不同噪声水平或罕见真实世界失真）下的泛化能力如何？

主要发现

• 在 VM 数据集上，CPA-Enhancer 达到 82.62% 的 mAP50，较基线 YOLOv3 提升 2.35%，在未知退化条件下创下新 SOTA 记录。
• 在 RTTS 数据集上，CPA-Enhancer 达到 56.35% 的 mAP50，较基线提升 0.89%，证明其对真实世界退化的强鲁棒性。
• 在 ExDarkA 数据集上，CPA-Enhancer 达到 61.08% 的 mAP50，较基线提升 1.56%，证实其在低光照和复杂场景下的强泛化能力。
• 模型在未见噪声水平下泛化良好，在 σ=15 时达到 82.34% mAP50，σ=25 时为 81.95%，σ=50 时为 80.62%，在所有噪声强度下均优于 YOLOv3。
• 在语义分割任务中，CPA-Enhancer 将 DeepLabV3+ 提升至 ACDC 验证集的 69.3% mIoU，将 SegFormer 提升至 75.1% mIoU，显著超越基于 DAFormer 的 Refign 模型。
• 模型仅引入 3M 可训练参数，且在 RTX 4090 上每张图像仅增加 3ms 推理时间，展现出优异的效率与实际部署可行性。