[論文レビュー] CPA-Enhancer: Chain-of-Thought Prompted Adaptive Enhancer for Object Detection under Unknown Degradations

Yu-Wei Zhang, Yan Wu+2 more|arXiv (Cornell University)|Mar 17, 2024

CCD and CMOS Imaging Sensors被引用数 4

ひとこと要約

CPA-Enhancer は、事前の劣化知識が不要な未知の複数の劣化条件下でも、オブジェクト検出を向上させる、プラグアンドプレイ式で、チェーン・オブ・スコーズ（CoT）プロンプトを用いた適応的エnhancer である。CoTプロンプト生成モジュール（CGM）とコンテンツ駆動型プロンプトブロック（CPB）を用い、動的に強化戦略を適応させる。VM、RTTS、ExDarkA といった多様なベンチマークで最先端のmAP向上を達成するとともに、セマンティックセグメンテーションタスクの性能向上も見せた。

ABSTRACT

Object detection methods under known single degradations have been extensively investigated. However, existing approaches require prior knowledge of the degradation type and train a separate model for each, limiting their practical applications in unpredictable environments. To address this challenge, we propose a chain-of-thought (CoT) prompted adaptive enhancer, CPA-Enhancer, for object detection under unknown degradations. Specifically, CPA-Enhancer progressively adapts its enhancement strategy under the step-by-step guidance of CoT prompts, that encode degradation-related information. To the best of our knowledge, it's the first work that exploits CoT prompting for object detection tasks. Overall, CPA-Enhancer is a plug-and-play enhancement model that can be integrated into any generic detectors to achieve substantial gains on degraded images, without knowing the degradation type priorly. Experimental results demonstrate that CPA-Enhancer not only sets the new state of the art for object detection but also boosts the performance of other downstream vision tasks under unknown degradations.

研究の動機と目的

• 既存のオブジェクト検出器が劣化タイプの事前知識を必要とし、未知または複数の劣化条件下で効果を発揮できないという限界を解消すること。
• 各劣化タイプごとに再訓練を必要とせず、任意の汎用検出器に統合可能な統一的で、プラグアンドプレイ式の強化モジュールを開発すること。
• チェーン・オブ・スコーズ（CoT）プロンプトが、特にオブジェクト検出における適応的画像強化の分野で、実行可能で効果的であるかを検証すること。
• ノイズ、ぼやけ、霧、低照度状態など、多様で未知の劣化タイプに対して、検出のロバスト性と一般化性能を向上させること。

提案手法

• モデルは、画像特徴に基づいて段階的で劣化に依存したプロンプトを生成する CoTプロンプト生成モジュール（CGM）を採用し、劣化タイプについての段階的推論を可能にしている。
• コンテンツ駆動型プロンプトブロック（CPB）は、学習可能なアテンション機構を通じて入力特徴とCoTプロンプトを動的に統合し、各特徴マップごとに適応的な強化を実現している。
• CPB は特徴マップを n パートに分割し、それぞれに専用のプロンプトを適用することで、細粒度で局所的な強化戦略の適応が可能になっている。
• CPA-Enhancer 全体は、YOLOv3 などの検出器とエンド・ツー・エンドで訓練されており、ペアド劣化データが不要な状態で、検出と強化の共同最適化が可能になっている。
• 視覚的キューから劣化パターンを推論することで、少数ショットまたはゼロショット一般化を実現しており、ラベル付きの劣化タイプに依存しない。
• フレームワークはモジュール式であり、さまざまな検出器や下流タスク（セマンティックセグメンテーションを含む）と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 チェーン・オブ・スコーズプロンプトは、オブジェクト検出のようなビジョンタスクにおいて、劣化に配慮した強化に効果的に適応可能か？
• RQ2 事前の知識なしに、未知または複数の劣化タイプに動的に適応できる統一された強化モデルをどのように実現できるか？
• RQ3 多様な劣化条件下での検出性能に、CoTプロンプトと独立プロンプトの違いがどのように影響するか？
• RQ4 CPBモジュールは、特徴品質の強化において、単純なプロンプト統合メカニズムと比較して、どのような優位性を示すか？
• RQ5 CPA-Enhancer は、ノイズ強度の変化やレアなリアルワールド歪みなど、未観測の劣化タイプにどの程度一般化可能か？

主な発見

• VM データセットでは 82.62% の mAP50 を達成し、ベースラインの YOLOv3 よりも 2.35% 高く、未知の劣化条件下で新たな最先端性能を樹立した。
• RTTS データセットでは 56.35% の mAP50 を達成し、ベースラインより 0.89% 向上し、リアルワールド劣化に対して高いロバスト性を示した。
• ExDarkA では 61.08% の mAP50 を達成し、ベースラインより 1.56% 向上し、低照度および複雑なシーンへの強力な一般化性能を確認した。
• 未観測のノイズレベルに対しても良好な一般化を示し、σ=15 で 82.34%、σ=25 で 81.95%、σ=50 で 80.62% の mAP50 を達成し、すべてのノイズ強度で YOLOv3 を上回った。
• セマンティックセグメンテーションでは、DeepLabV3+ を 69.3% の mIoU、SegFormer を 75.1% の mIoU に向上させ、DAFormer をベースにした Refign よりも顕著な優位性を示した。
• モデルはトレーニング可能なパラメータをわずか 3M 個しか導入せず、RTX 4090 で 1 イメージあたりたった 3ms の推論時間増加に抑えられ、高い効率性と実用的導入可能性を示した。