[논문 리뷰] CPA-Enhancer: Chain-of-Thought Prompted Adaptive Enhancer for Object Detection under Unknown Degradations

Yu-Wei Zhang, Yan Wu외 2명|arXiv (Cornell University)|2024. 03. 17.

CCD and CMOS Imaging Sensors인용 수 4

한 줄 요약

CPA-Enhancer는 사전에 오염 유형에 대한 지식이 없이도 알려지지 않은 다중 오염 상태에서 객체 검출 성능을 향상시키는 플러그 앤 플레이, 체인 오브 써포트(Chain-of-Thought, CoT) 프롬프팅 기반 적응형 향상 모듈이다. CoT-프롬프팅 생성 모듈(CGM)과 콘텐츠 기반 프롬프트 블록(CPB)을 활용하여 향상 전략을 동적으로 조정하며, VM, RTTS, ExDarkA와 같은 다양한 벤치마크에서 최신 기술 수준(SOTA)의 mAP 향상을 달성한다. 또한 세분화 작업에서의 성능 향상에도 기여한다.

ABSTRACT

Object detection methods under known single degradations have been extensively investigated. However, existing approaches require prior knowledge of the degradation type and train a separate model for each, limiting their practical applications in unpredictable environments. To address this challenge, we propose a chain-of-thought (CoT) prompted adaptive enhancer, CPA-Enhancer, for object detection under unknown degradations. Specifically, CPA-Enhancer progressively adapts its enhancement strategy under the step-by-step guidance of CoT prompts, that encode degradation-related information. To the best of our knowledge, it's the first work that exploits CoT prompting for object detection tasks. Overall, CPA-Enhancer is a plug-and-play enhancement model that can be integrated into any generic detectors to achieve substantial gains on degraded images, without knowing the degradation type priorly. Experimental results demonstrate that CPA-Enhancer not only sets the new state of the art for object detection but also boosts the performance of other downstream vision tasks under unknown degradations.

연구 동기 및 목표

• 기존 객체 검출기들이 오염 유형에 대한 사전 지식이 필요로 하며, 알려지지 않은 또는 다중 오염 상태에서는 효과적이지 않다는 한계를 해결하기 위해.
• 각 오염 유형에 대해 재학습이 필요 없이 어떤 일반 객체 검출기와도 통합 가능한 통합형 플러그 앤 플레이 향상 모듈을 개발하기 위해.
• 체인 오브 써포트(CoT) 프롬프팅이 시각 작업, 특히 객체 검출에서의 적응형 이미지 향상에 대해 타당성과 효과성을 탐색하기 위해.
• 노이즈, 흐림, dense 안개, 저조도 조건과 같은 다양한 알려지지 않은 오염 유형에 대해 검출의 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 모델은 이미지 특징을 기반으로 오염 유형을 고려한 단계별 프롬프트를 생성하는 CoT-프롬프팅 생성 모듈(CGM)을 활용하여 오염 유형에 대한 점진적 추론을 가능하게 한다.
• 콘텐츠 기반 프롬프트 블록(CPB)은 학습 가능한 어텐션 메커니즘을 통해 입력 특징과 CoT 프롬프트를 동적으로 융합하여 각 특징 맵에 맞는 적응형 향상 전략을 허용한다.
• CPB는 특징 맵을 n개의 부분으로 분할하고, 각 부분에 전용 프롬프트를 적용하여 세분화되고 국소화된 향상 전략 조정을 가능하게 한다.
• CPA-Enhancer 전체는 YOLOv3와 같은 검출기와 함께 엔드 투 엔드로 훈련되어, 오염 데이터 쌍이 없더라도 검출 및 향상의 공동 최적화를 가능하게 한다.
• 적은 샘플 또는 제로샷 일반화를 통해 레이블된 오염 유형이 아닌 시각적 신호에서 오염 패턴을 추론하도록 학습한다.
• 모듈러 구조를 통해 다양한 검출기와 후속 작업(예: 세분화)과 호환 가능하다.

실험 결과

연구 질문

• RQ1 체인 오브 써포트 프롬프팅이 객체 검출과 같은 시각 작업에 오염 인식 향상에 효과적으로 적용될 수 있는가?
• RQ2 사전 지식 없이 알려지지 않은 또는 다중 오염 유형에 대해 통합된 향상 모델이 어떻게 동적으로 적응할 수 있는가?
• RQ3 다양한 오염 상태에서 검출 성능에 대해 CoT 프롬프팅과 독립적 프롬프팅 간의 영향은 어떠한가?
• RQ4 CPB 모듈은 특징 품질 향상에 있어 더 단순한 프롬프트 융합 기법보다 어떻게 비교되는가?
• RQ5 CPA-Enhancer는 노이즈 강도 변화나 드문 실생활 왜곡과 같은 알려지지 않은 오염 유형으로까지 얼마나 잘 일반화되는가?

주요 결과

• VM 데이터셋에서 CPA-Enhancer는 mAP50 82.62%를 기록하여 기준 YOLOv3보다 2.35% 향상되었으며, 알려지지 않은 오염 상태에서 새로운 SOTA 성능을 확립했다.
• RTTS 데이터셋에서 CPA-Enhancer는 mAP50 56.35%를 달성하여 기준보다 0.89% 향상되었으며, 실생활 오염에 대한 강건성을 입증했다.
• ExDarkA에서 CPA-Enhancer는 mAP50 61.08%를 기록하여 기준보다 1.56% 향상되었으며, 저조도 및 복잡한 환경에 대한 강력한 일반화 능력을 확인했다.
• 모델은 알려지지 않은 노이즈 수준으로도 잘 일반화되며, σ=15일 때 mAP50 82.34%, σ=25일 때 81.95%, σ=50일 때 80.62%를 기록하여 모든 노이즈 강도에서 YOLOv3를 앞섰다.
• 세분화 작업에서는 CPA-Enhancer가 DeepLabV3+를 69.3% mIoU로, SegFormer를 75.1% mIoU로 향상시켜 Refign(기반: DAFormer)을 상당한 격차로 앞섰다.
• 모델은 단지 3M의 학습 가능한 파라미터만 추가하고, RTX 4090에서 이미지당 3ms의 추론 시간만 추가하여 뛰어난 효율성과 실용적 구현 가능성을 입증했다.