[論文レビュー] Densely Connected Pyramid Dehazing Network

He Zhang, Vishal M. Patel|arXiv (Cornell University)|Mar 22, 2018

Image Enhancement Techniques参考文献 48被引用数 78

ひとこと要約

DCPDN は伝達マップ、気象光、デヘイズ画像をエンドツーエンドのフレームワークで共同推定し、気象散乱モデルを埋め込み、伝達用に densely connected encoder-decoder、air-light に U-net、そして伝達マップとデヘイズ画像の共同 GAN 判別器を用います。

ABSTRACT

We propose a new end-to-end single image dehazing method, called Densely Connected Pyramid Dehazing Network (DCPDN), which can jointly learn the transmission map, atmospheric light and dehazing all together. The end-to-end learning is achieved by directly embedding the atmospheric scattering model into the network, thereby ensuring that the proposed method strictly follows the physics-driven scattering model for dehazing. Inspired by the dense network that can maximize the information flow along features from different levels, we propose a new edge-preserving densely connected encoder-decoder structure with multi-level pyramid pooling module for estimating the transmission map. This network is optimized using a newly introduced edge-preserving loss function. To further incorporate the mutual structural information between the estimated transmission map and the dehazed result, we propose a joint-discriminator based on generative adversarial network framework to decide whether the corresponding dehazed image and the estimated transmission map are real or fake. An ablation study is conducted to demonstrate the effectiveness of each module evaluated at both estimated transmission map and dehazed result. Extensive experiments demonstrate that the proposed method achieves significant improvements over the state-of-the-art methods. Code will be made available at: https://github.com/hezhangsprinter

研究の動機と目的

• 複雑な大気散乱下で堅牢な単一画像デヘイズを実現するために、伝達、気象光、デヘイズ画像を共同推定する。
• 物理的なヘイズモデルを学習に埋め込み、物理的に一貫した結果を得るエンドツーエンドのアーキテクチャを導入する。
• 多段ピラミッドプーリングを備えた densely connected encoder-decoder の伝達マップ推定器を開発する。
• 鋭いエッジを保持しハローアーティファクトを低減するエッジ保持損失を組み込む。
• 伝達マップとデヘイズ画像の間の相互構造情報を活用する共同 GAN 判別器を活用する。

提案手法

• 伝達推定のための多スケール特徴を抽出するピラミッド状の densely connected 伝達マップ推定ネットワークを提案する。
• 8-block U-net 構造で大気光を推定する。
• 物理モデル J = (I - Â(1 - t))/t を用いてデヘイズ画像を復元する。
• 伝達マップとデヘイズ画像のペアを評価する共同判別器を導入して現実性を強制する。
• L2、二方向勾配損失、および初期 CNN/VGG 特徴に基づく特徴-エッジ損失を含むエッジ保持損失を採用する。
• 最適化を安定化させるために段階的学習戦略で訓練し、後に共同のエンドツーエンド訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 単一のアーキテクチャはヘイズイメージングモデルに厳密に従いながら伝達、気象光、デヘイズを共同学習できるか？
• RQ2 densely connected ピラミッドエンコーダー/デコーダーは伝達マップの精度とエッジ保持を改善するか？
• RQ3 伝達マップとデヘイズ画像の相関を活用する共同判別器は結果を改善するか？
• RQ4 エッジ保持損失は伝達マップの鋭いエッジを維持し、ハローアーティファクトを減らすのに役立つか？

主な発見

テスト	方法	伝達 SSIM	画像 SSIM
TestA	He et al. (CVPR’09)	N/A	0.7041
TestA	Zhu et al. (TIP’15)	0.8739	0.8642
TestA	Ren et al. (ECCV’16)	0.8326	0.8567
TestA	Berman et al. (CVPR’16)	N/A	0.8203
TestA	Li et al. (ICCV’17)	0.8675	0.8842
TestA	DCPDN	0.9776	0.9560
TestB	He et al. (CVPR’09)	N/A	0.6593
TestB	Zhu et al. (TIP’15)	0.8593	0.7890
TestB	Ren et al. (ECCV’16)	0.8454	0.8253
TestB	Berman et al. (CVPR’16)	N/A	0.7724
TestB	Li et al. (ICCV’17)	0.9352	0.8746
TestB	DCPDN	0.9352	0.8746

• 提案された DCPDN は synthetic データセット TestA および TestB、および実世界画像で最先端手法に対して大幅な改善を達成した。
• 多段ピラミッドプーリングを備えた densely connected encoder-decoder により伝達マップ推定が優れている。
• エッジ保持損失は推定伝達マップの鋭いエッジを保持し、ハローアーティファクトを低減する。
• 共同判別器は伝達マップとデヘイズ画像の構造相関を活用して伝達マップとデヘイズ画像をさらに精練する。
• 段階的訓練は全体のエンドツーエンド訓練前の最適化を安定化する。
• 定量的結果は synthetic データセットで伝達とデヘイズ画像の高い SSIM 増加を示しており（例：TestA で Transition 値が最大 0.9776、Image 値が最大 0.9560）。