[論文レビュー] Transmission Map and Atmospheric Light Guided Iterative Updater Network for Single Image Dehazing

Aupendu Kar, Sobhan Kanti Dhara+2 more|arXiv (Cornell University)|Aug 4, 2020

Image Enhancement Techniques参考文献 68被引用数 10

ひとこと要約

本稿では、反復的アップデートフレームワークを用いて、脱着画像、透過マップ、チャネル別大気光を同時に推定する反復的プライオリティ更新デハジングネットワーク（IPUDN）を提案する。LSTM駆動の再帰と、透過マップおよび大気光のための専用アップデーターネットワークを活用することで、合成および実世界のデータセットにおいて、多様な曇りの状態において最先端の手法を上回る性能を発揮する。

ABSTRACT

Hazy images obscure content visibility and hinder several subsequent computer vision tasks. For dehazing in a wide variety of hazy conditions, an end-to-end deep network jointly estimating the dehazed image along with suitable transmission map and atmospheric light for guidance could prove effective. To this end, we propose an Iterative Prior Updated Dehazing Network (IPUDN) based on a novel iterative update framework. We present a novel convolutional architecture to estimate channel-wise atmospheric light, which along with an estimated transmission map are used as priors for the dehazing network. Use of channel-wise atmospheric light allows our network to handle color casts in hazy images. In our IPUDN, the transmission map and atmospheric light estimates are updated iteratively using corresponding novel updater networks. The iterative mechanism is leveraged to gradually modify the estimates toward those appropriately representing the hazy condition. These updates occur jointly with the iterative estimation of the dehazed image using a convolutional neural network with LSTM driven recurrence, which introduces inter-iteration dependencies. Our approach is qualitatively and quantitatively found effective for synthetic and real-world hazy images depicting varied hazy conditions, and it outperforms the state-of-the-art. Thorough analyses of IPUDN through additional experiments and detailed ablation studies are also presented.

研究の動機と目的

• 曇りの影響で視認性が低下する画像が、下流のコンピュータビジョンタスクに悪影響を及えるという課題に対処すること。
• 脱着画像、透過マップ、大気光を同時に推定することで、多様な曇りの状態においてデハジング性能を向上させること。
• チャネル別大気光推定を導入することで、脱着出力における色調のずれを低減すること。
• 透過マップおよび大気光の推定精度を反復的精錬メカニズムにより向上させること。
• 事前知識（透過マップおよび光）をデハジングプロセスに統合する包括的なディーブラーニングフレームワークを構築すること。

提案手法

• 透過マップおよび大気光が複数段階にわたり精錬される反復的アップデートフレームワークを採用する。
• 色調のずれをより効果的に処理できるように、チャネル別大気光を推定する新しい畳み込みアーキテクチャを提案する。
• 透過マップおよび大気光推定を段階的に精錬するための専用アップデーターネットワークを導入する。
• LSTM駆動の再帰を用いて反復間の依存関係をモデル化する畳み込みニューラルネットワークにより、脱着画像を推定する。
• エンドツーエンドの最適化により、脱着画像、透過マップ、大気光を同時に最適化する。
• 反復的メカニズムにより、実際の曇りの状態をよりよく表現するような事前推定が段階的に改善される。

実験結果

リサーチクエスチョン

• RQ1 透過マップおよび大気光の反復的精錬は、多様な曇りの状態においてデハジング性能を向上させ得るか？
• RQ2 チャネル別大気光推定は、脱着画像における色再現性と色調のずれの低減にどのように影響するか？
• RQ3 LSTM駆動の再帰による反復間依存関係の組み込みは、どの程度デハジング品質を向上させるか？
• RQ4 提案されたアップデーターネットワークは、静的事前推定と比較して、どの程度の耐障害性と正確性を示すか？
• RQ5 脱着画像、透過マップ、大気光の共同最適化は、分離最適化アプローチと比較して、より優れた結果をもたらすか？

主な発見

• IPUDNは、合成および実世界の曇り画像ベンチマークにおいて、最先端の手法を上回る性能を発揮する。
• チャネル別大気光推定の導入により、脱着出力における色調のずれが効果的に低減される。
• 反復的アップデートメカニズムにより、段階的により正確な透過マップおよび大気光推定が得られる。
• LSTM駆動の再帰により、反復間の依存関係をモデル化することで、デハジング品質が向上する。
• アブレーションスタディにより、アップデーターネットワークおよび共同最適化戦略の有効性が確認される。
• 本手法は、濃い曇りや薄い曇りを含む多様な曇りの状態において、優れた一般化性能を示す。