[論文レビュー] Nighttime Haze Removal with Illumination Correction

Jing Zhang, Yang Cao+1 more|arXiv (Cornell University)|Jun 5, 2016

Image Enhancement Techniques参考文献 22被引用数 8

ひとこと要約

本稿では、照度補償、色補正、およびダークチャnelプリオリに基づく除霧を三段階パイプラインで組み合わせることで、非一様な照度と大気散乱の両方を効果的に処理する、新しい夜間の霞取りアルゴリズムを提案する。本手法は、実際の夜間の霞がかった画像および合成された夜間の霞がかった画像において、低い計算コストで均一な照度、正確な色再現、そして効果的な霞取りを達成する。

ABSTRACT

Haze removal is important for computational photography and computer vision applications. However, most of the existing methods for dehazing are designed for daytime images, and cannot always work well in the nighttime. Different from the imaging conditions in the daytime, images captured in nighttime haze condition may suffer from non-uniform illumination due to artificial light sources, which exhibit low brightness/contrast and color distortion. In this paper, we present a new nighttime hazy imaging model that takes into account both the non-uniform illumination from artificial light sources and the scattering and attenuation effects of haze. Accordingly, we propose an efficient dehazing algorithm for nighttime hazy images. The proposed algorithm includes three sequential steps. i) It enhances the overall brightness by performing a gamma correction step after estimating the illumination from the original image. ii) Then it achieves a color-balance result by performing a color correction step after estimating the color characteristics of the incident light. iii) Finally, it remove the haze effect by applying the dark channel prior and estimating the point-wise environmental light based on the previous illumination-balance result. Experimental results show that the proposed algorithm can achieve illumination-balance and haze-free results with good color rendition ability.

研究の動機と目的

• 人工光源による非一様な照度のため、既存の除霧手法が夜間の霞がかった画像で失敗するという限界を解消すること。
• 人工光による非一様な照度と大気的霞の両方の影響を考慮した新しい画像モデルの構築。
• 夜間のシーンにおいて、均一な照度と正確な色再現を実現しながら、効果的に霞を取り除くこと。
• 既存の手法（例：ダークチャnelプリオリやヒストグラム等化）を凌駕する、単一画像用の計算効率の高い夜間除霧ソリューションを提供すること。

提案手法

• 入力画像から照度を推定し、ガンマ補正を適用して全体の明るさを向上させる。
• 入射光の色特性を推定し、色補正を実行して色のバランスを取る。
• 照度バランスを取った結果に基づき、点単位の環境光推定を用いてダークチャnelプリオリを用いて霞取りを実行する。
• ガイドフィルタを用いたアプローチを採用し、除霧中に局所的なコントラストを保持するとともにノイズを低減する。
• 照度と透過率の局所的変動を正確にモデル化するため、区分的滑らかさ仮定を用いる。
• 照度補償、色補正、除霧の三段階に分けて逐次処理することで、安定性と正確性を確保する。

実験結果

リサーチクエスチョン

• RQ1 人工光源に起因する夜間のシーンにおける非一様な照度を、どのように効果的にモデル化・補正できるか。
• RQ2 複雑な照度状態を伴う夜間の霞がかった画像に直接ダークチャnelプリオリを適用した場合、どの程度その有効性が低下するか。
• RQ3 照度補償、色補正、除霧を組み合わせた三段階パイプラインは、夜間画像の視覚的品質と色の忠実性を向上させることができるか。
• RQ4 本手法は、ヒストグラム等化および既存の最先端手法と比較して、色の正確性とディテールの保持の面でどの程度優れているか。

主な発見

• 本手法は、夜間の画像では失敗する直接的なダークチャnelプリオリの適用と比較して、照度のバランスと霞取りの両面で顕著な改善を達成する。
• 推定された入射光の特性に基づく色補正は、ターゲット画像に依存する手法よりも自然で正確な色再現を実現する。
• 三段階の逐次処理アプローチは、特に光源付近の明るい領域で顕著な過露出アーティファクトを効果的に低減する。
• 本手法は、[12]のような手法よりも優れている。[12]は昼間のターゲット画像が必要であり、シーン固有の色を歪める可能性がある。
• 実際の夜間の霞がかった画像および合成された夜間の霞がかった画像を用いた実験結果から、本手法が細部を保持し、視覚的に魅力的な霞なしの出力を得られることを示している。
• 本アルゴリズムは、高品質な結果を達成しながらも、低い計算コストを維持しており、リアルタイムまたは実用的導入に適している。