[論文レビュー] A Cascaded Convolutional Neural Network for Single Image Dehazing

Chongyi Li, Jichang Guo+3 more|arXiv (Cornell University)|Mar 21, 2018

Image Enhancement Techniques参考文献 7被引用数 7

ひとこと要約

本論文は、合成および実世界の霞まし画像の両方で最先端の性能を達成し、精度と速度の両方を向上させながら、単一画像の霞取りのために、大気中媒体の透過率とグローバル大気光を同時に推定する段階的畳み込みニューラルネットワーク（CNN）を提案する。この手法は、透過率推定に密接接続されたサブネットワークを、大気光推定に軽量なサブネットワークを用いることで実現している。

ABSTRACT

Images captured under outdoor scenes usually suffer from low contrast and limited visibility due to suspended atmospheric particles, which directly affects the quality of photos. Despite numerous image dehazing methods have been proposed, effective hazy image restoration remains a challenging problem. Existing learning-based methods usually predict the medium transmission by Convolutional Neural Networks (CNNs), but ignore the key global atmospheric light. Different from previous learning-based methods, we propose a flexible cascaded CNN for single hazy image restoration, which considers the medium transmission and global atmospheric light jointly by two task-driven subnetworks. Specifically, the medium transmission estimation subnetwork is inspired by the densely connected CNN while the global atmospheric light estimation subnetwork is a light-weight CNN. Besides, these two subnetworks are cascaded by sharing the common features. Finally, with the estimated model parameters, the haze-free image is obtained by the atmospheric scattering model inversion, which achieves more accurate and effective restoration performance. Qualitatively and quantitatively experimental results on the synthetic and real-world hazy images demonstrate that the proposed method effectively removes haze from such images, and outperforms several state-of-the-art dehazing methods.

研究の動機と目的

• 大気中の粒子がコントラストと視認性を低下させる単一画像の霞取りの課題に対処すること。
• 従来の学習ベースの手法が媒体透過率と大気光を別々に推定するため、最適でない性能にとどまっていたという限界を克服すること。
• データ駆動でエンドツーエンドの方法で透過率と大気光を同時にモデル化することで、霞取りのロバスト性と柔軟性を向上させること。
• 合成および実世界のシーンを含む多様な霞まし画像データセットにおいて、優れた知覚的および定量的復元品質を達成すること。

提案手法

• 透過率推定用とグローバル大気光推定用の2つのタスク指向サブネットワークを備えた段階的CNNアーキテクチャを提案する。
• 多スケール特徴を捉え、勾配の流れを向上させるために、透過率推定に密接接続CNNを用いる。
• 計算コストを低減しながらも精度を維持するため、大気光推定に軽量CNNを実装する。
• 2つのサブネットワーク間で共通の特徴を共有することで、共同最適化を可能にし、特徴表現を向上させる。
• 推定されたパrameterを用いて大気散乱モデルを逆算し、霞なし画像を再構築する。
• 視覚的品質をさらに向上させ、アーチファクトを低減するために、ガイド付き画像フィルタリングをリファインメントの後処理ステップとして適用する。

実験結果

リサーチクエスチョン

• RQ1 段階的CNNアーキテクチャにおいて、透過率とグローバル大気光を同時に推定することで、別々に推定する手法と比較して、霞取り性能が向上するか？
• RQ2 密度と軽量なサブネットワークを備えた本手法の段階的CNNは、最先端の手法と比較して、定量的指標および視覚的品質の面でどのように差をつけるか？
• RQ3 合成霞まし画像で学習したモデルが、実世界の霞まし画像にどの程度一般化可能か？
• RQ4 サブネットワーク間で共有された特徴が、特徴学習および霞取り精度を向上させるか？
• RQ5 既存の手法と比較して、空や濃い霞の領域といった困難な領域における本手法の性能はいかがなものか？

主な発見

• 本手法は合成データセットにおいて最低のMSE（958.17）と最高のPSNR（18.33 dB）を達成し、比較対象のすべての手法を上回った。
• 本手法は、合成霞まし画像においてPSNRが18.33 dB、SSIMが0.8857を達成し、優れた定量的性能を示した。
• 実世界の霞まし画像においては、鮮やかな色合い、高いコントラスト、最小限の色ずれを実現し、特に空の領域で視覚的に魅力的な結果を生成した。
• リファインメントの後処理を施さない場合でも、MSEとPSNRで2位の順位を達成しており、コアとなるネットワーク設計がすでに極めて効果的であることが示された。
• 推定された媒体透過率マップから、透過率と大気光の共同推定が、はっきりとしたはくばい濃度の表現に寄与していることが明らかになった。
• 軽量なネットワーク設計とGPUアクセcelerationのおかげで、既存のアプローチよりも高速であり、効率的な推論が可能になった。