[論文レビュー] An All-in-One Network for Dehazing and Beyond

Boyi Li, Xiulian Peng+3 more|arXiv (Cornell University)|Jul 20, 2017

Image Enhancement Techniques参考文献 36被引用数 136

ひとこと要約

AOD-Net は hazy inputs から haze-free 画像をエンドツーエンドの CNN で直接回帰し、再構成された大気モデルに基づくもので、Faster R-CNN などの高レベルタスクと共同で学習することで hazy 画像の物体検出を向上させる。

ABSTRACT

This paper proposes an image dehazing model built with a convolutional neural network (CNN), called All-in-One Dehazing Network (AOD-Net). It is designed based on a re-formulated atmospheric scattering model. Instead of estimating the transmission matrix and the atmospheric light separately as most previous models did, AOD-Net directly generates the clean image through a light-weight CNN. Such a novel end-to-end design makes it easy to embed AOD-Net into other deep models, e.g., Faster R-CNN, for improving high-level task performance on hazy images. Experimental results on both synthesized and natural hazy image datasets demonstrate our superior performance than the state-of-the-art in terms of PSNR, SSIM and the subjective visual quality. Furthermore, when concatenating AOD-Net with Faster R-CNN and training the joint pipeline from end to end, we witness a large improvement of the object detection performance on hazy images.

研究の動機と目的

• robust single-image dehazing を explicit transmission と atmospheric light estimation を使わずに実現する動機づけ。
• reformulated atmospheric model を介して haze-free 画像を出力するエンドツーエンド CNN を提案する。
• 軽量で入力に適応するネットワークを設計し、 haze パラメータの同時推定とクリーン画像の復元を行う。
• エンドツーエンド設計により restoration の品質（PSNR/SSIM）と hazy 画像での高レベルタスクの性能を向上させる。

提案手法

• 大気散乱モデルを再定式化し t(x) と A を入力依存パラメータ K(x) に統合する。
• K 推定モジュール（マルチスケール畳み込みを用意）と J(x) を Produce する clean image generation module の 2 段構成のネットワークを開発する。
• K 推定モジュールを5層の畳み込みで実装し、各層のフィルタ数を最小限に抑えた軽量アーキテクチャを使用する。
• Mean Squared Error 損失でエンドツーエンドに訓練し、I(x) から直接 J(x) を再構成する。
• K(x) 内で t(x) と A を同時推定することで naive な 2 段階アプローチより照度と質感の忠実度が向上することを示す。
• AOD-Net をより高レベルのモデル（例：Faster R-CNN）に組み込み、JAOD-Faster R-CNN のように jointly 学習して hazy 画像での検出を改善できることを示す。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの dehazing モデルは、クリーン画像を直接回帰することで、2 段階の伝搬ベースの方法よりも優れているのか？
• RQ2 単一の適応パラメータを持つ reformulated atmospheric model は restoration quality（PSNR/SSIM）と視覚忠実度を改善できるのか？
• RQ3 dehazing を高レベルタスク（例：物体検出）と jointly 学習することは hazy 画像の性能を改善するのか？
• RQ4 軽量で入力適応型のネットワークは、synthetic および natural hazy scenes で堅牢な dehazing に十分か？

主な発見

• AOD-Net は synthetic hazy データセット（TestSet A および TestSet B）で state-of-the-art 方法と比較して SSIM が高く、PSNR も競争力がある。
• AOD-Net は全体的な照明とテクスチャの詳細をより忠実に再現し、SSIM が高く平均画像の MSE 成分が低い。
• JAOD-Faster R-CNN パイプラインは、 hazy の下で従来または非 joint アプローチと比較して物体検出の mAP に substantialな向上をもたらす。
• AOD-Net は複数のベースラインよりもはるかに高速に動作（CPU/GPU ベンチマークで 0.65–0.65 秒/画像）し、効率的な展開を実現。
• エンドツーエンド設計により復元を下流タスクに合わせて調整でき、dense hazzy シナリオで2 段階パイプラインを上回る。
• 自然 hazy 画像での性能向上を示し、 hazy でない入力にも頑健である。