[論文レビュー] Improved Techniques for Learning to Dehaze and Beyond: A Collective Study

Yu Liu, Guanlong Zhao+9 more|arXiv (Cornell University)|Jun 30, 2018

Image Enhancement Techniques参考文献 25被引用数 42

ひとこと要約

本論文は単一画像の除霧における知覚駆動の損失関数を検討し、煙霜画像の物体検出を向上させるためのドメイン適応型およびカスケードベースのアプローチを探究し、RESIDEベンチマークで顕著な向上を得ている。

ABSTRACT

Here we explore two related but important tasks based on the recently released REalistic Single Image DEhazing (RESIDE) benchmark dataset: (i) single image dehazing as a low-level image restoration problem; and (ii) high-level visual understanding (e.g., object detection) of hazy images. For the first task, we investigated a variety of loss functions and show that perception-driven loss significantly improves dehazing performance. In the second task, we provide multiple solutions including using advanced modules in the dehazing-detection cascade and domain-adaptive object detectors. In both tasks, our proposed solutions significantly improve performance. GitHub repository URL is: https://github.com/guanlongzhao/dehaze

研究の動機と目的

• 訓練損失を人間の知覚と整合させることにより、単一画像の除霧性能を向上させる。
• 除霧-検出のカスケードとドメイン適応を通じて、煙霧条件下での高レベル視覚タスク（物体検出）を強化する。
• 実用的な利得のため、RESIDEデータセットとRTTSで損失関数と検出パイプラインを評価する。

提案手法

• AOD-Netの標準的なMSEを置換する代替の知覚ベース損失関数（L1、SSIM、MS-SSIM、L2/L1付きMS-SSIM）を評価する。
• 最も性能の高い損失（MS-SSIM with L2）を、ウォームスタートの初期化と調整されたハイパーパラメータで微調整する。
• 事前学習済み検出器（Faster R-CNN、SSD、RetinaNet、Mask R-CNN）とさまざまな除霧手法（DCP、DehazeNet、AOD-Net、MSCNN、DCPDN）を用いた複数の除霧-検出カスケードを評価する。
• クリーン画像と煙霧画像の間のドメインギャップを縮小するため、勾配反転層を備えたドメイン適応型Mask R-CNN（DMask-RCNN）を提案する。
• 2つのターゲットドメイン（注釈なしの煙霧RESIDE画像と除霧版）を用いて実験し、RTTSでのmAPを測定する。

実験結果

リサーチクエスチョン

• RQ1 知覚ベースの損失（SSIM、MS-SSIM）はRESIDEでの除霧復元においてMSEを上回るか？
• RQ2 煙霧画像検出のためのカスケード構成における除霧手法と検出器はどのように相互作用するか？
• RQ3 ドメイン適応は煙霧条件下の物体検出を改善するか、どのターゲットドメインがドメインギャップを最も小さくするか？
• RQ4 除霧とドメイン適応検出器の組み合わせが検出性能に与える影響は何か？

主な発見

Model	PSNR Indoor (dB)	PSNR Outdoor (dB)	PSNR All (dB)	SSIM Indoor	SSIM Outdoor	SSIM All
AOD-Net Baseline	21.01	24.08	22.55	0.8372	0.8726	0.8549
MS-SSIM-ell2 (best MS-SSIM+ℓ2)	20.45	26.38	23.41	0.8285	0.9177	0.8731
MS-SSIM-ℓ2 (finetuned)	20.68	26.18	23.43	0.8229	0.9266	0.8747

• MS-SSIM with L2 loss achieves the best overall PSNR/SSIM across indoor and outdoor haze, with significant gains over the AOD-Net baseline.
• Best Task 1 result after fine-tuning: PSNR 23.43 dB and SSIM 0.8747 on the combined set.
• In Task 2, domain-adaptive detectors (DMask-RCNN) outperform non-adaptive cascades, with MSCNN+DMask-RCNN2 achieving the highest mAP (0.634) among the tested pipelines.
• Simply using more advanced detectors does not guarantee better hazy-domain detection due to domain gaps between hazy/dehazed and clean images.
• A dehazing-detection cascade using MSCNN for dehazing and DMask-RCNN for detection yields the strongest performance among solution sets.
• Domain adaptation effectively narrows the gap between source (clean) and target (hazy/dehazed) domains, boosting detection performance.