[論文レビュー] Night Time Haze and Glow Removal using Deep Dilated Convolutional Network

Shiba Kuanar, K.R. Rao+2 more|arXiv (Cornell University)|Feb 3, 2019

Image Enhancement Techniques参考文献 36被引用数 31

ひとこと要約

本稿では、拡張畳み込みと反復的アーキテクチャを用いて、同時に夜間の霞と光の輝きを除去する深層学習ベースのDeGlow-DeHazeネットワークを提案する。NYU Depth Datasetから合成された霞の画像を用いて訓練することで、最先端の手法よりも優れた画像品質と高速な推論を達成し、非一様な照度や色温度の異なる複数の光源に対しても効果的に対処できる。

ABSTRACT

In this paper, we address the single image haze removal problem in a nighttime scene. The night haze removal is a severely ill-posed problem especially due to the presence of various visible light sources with varying colors and non-uniform illumination. These light sources are of different shapes and introduce noticeable glow in night scenes. To address these effects we introduce a deep learning based DeGlow-DeHaze iterative architecture which accounts for varying color illumination and glows. First, our convolution neural network (CNN) based DeGlow model is able to remove the glow effect significantly and on top of it a separate DeHaze network is included to remove the haze effect. For our recurrent network training, the hazy images and the corresponding transmission maps are synthesized from the NYU depth datasets and consequently restored a high-quality haze-free image. The experimental results demonstrate that our hybrid CNN model outperforms other state-of-the-art methods in terms of computation speed and image quality. We also show the effectiveness of our model on a number of real images and compare our results with the existing night haze heuristic models.

研究の動機と目的

• 単一画像における夜間の霞と輝き除去という、不適切に定式化された問題に対処すること。
• 複数の光源に起因する非一様な照度および変動する色温度を伴う夜間のシーンにおける処理を可能にすること。
• 輝きと霞の効果を別々に除去することで、復元品質を向上させるための深層学習フレームワークの構築。
• 従来のヒューリスティックベースの手法と比較して、より高速な計算と高い画像忠実度を達成すること。
• 合成データおよび実世界の夜間画像の両方で性能を検証すること。

提案手法

• 2段階の深層学習アーキテクチャ：まず、拡張畳み込みを用いて長距離の文脈を捉えるDeGlowネットワークが輝き効果を除去する。
• 次に、NYU Depth Datasetから導出された透過率マップを用いて大気中の霞を除去するDeHazeネットワークが作動する。
• 合成された霞の画像と対応する真値透過率マップを用いた反復的訓練戦略を採用する。
• パラメータ数を増加させずに感受野を拡大するために、拡張畳み込みが使用され、空間解像度が保持される。
• 合成された霞の画像は、NYU Depth Datasetに基づいて光源と大気散乱をシミュレートすることで生成される。
• エンド・トゥ・エンド最適化により、霞の入力から高品質な霞なし画像への再構成をネットワークが学習する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、同時に夜間シーンにおける輝きと霞の効果を効果的に分離・除去できるか？
• RQ2 拡張畳み込みの使用は、低照度条件下での大規模な輝きおよび霞のパターンのモデリングをどのように向上させるか？
• RQ3 DeGlow-DeHazeアーキテクチャは、画像品質および推論速度の面で、既存のヒューリスティックベースの手法をどの程度上回るか？
• RQ4 複雑な照明条件と非一様な照度を伴う実世界の夜間画像に対して、モデルの一般化性能はどの程度高いか？
• RQ5 NYU Depth Datasetから得た合成トレーニングデータは、実世界の夜間の霞の状況に効果的に一般化できるか？

主な発見

• 提案されたDeGlow-DeHazeネットワークは、合成データおよび実世界データの両方のテストセットにおいて、最先端の手法よりも高いPSNRおよびSSIM値を達成した。
• 既存の深層学習およびヒューリスティックベースのアプローチと比較して、より高速な推論速度を示した。
• DeGlowネットワークは、光源周辺のハロや輝きアーチファクトを顕著に低減し、視覚的品質が向上した。
• DeHazeネットワークは、非一様な照度下でも、霞がかかった領域の視認性を効果的に回復した。
• 視覚的比較により、ベースライン手法と比較して、本モデルは細部やテクスチャをよりよく保持していることが示された。
• 定性的および定量的評価を通じて、本モデルが実夜間シーンに良好に一般化されることを検証した。