[論文レビュー] DR-Net: Transmission Steered Single Image Dehazing Network with Weakly Supervised Refinement

Chongyi Li, Jichang Guo+4 more|arXiv (Cornell University)|Dec 2, 2017

Image Enhancement Techniques参考文献 31被引用数 5

ひとこと要約

DR-Net は、透過率予測サブネットワーク、はぎれ除去サブネットワーク、弱教師付き精練サブネットワークを備えた深層学習ベースの単一画像除霧ネットワークであり、高品質な除霧画像を生成する。手動でのハイパーパrameterチューニングを必要とせず、改善されたロバストネス、ディテールの保持、色再現性を実現するエンドツーエンド学習により、合成画像および実世界の画像の両方で最先端の性能を達成する。

ABSTRACT

Despite the recent progress in image dehazing, several problems remain largely unsolved such as robustness for varying scenes, the visual quality of reconstructed images, and effectiveness and flexibility for applications. To tackle these problems, we propose a new deep network architecture for single image dehazing called DR-Net. Our model consists of three main subnetworks: a transmission prediction network that predicts transmission map for the input image, a haze removal network that reconstructs latent image steered by the transmission map, and a refinement network that enhances the details and color properties of the dehazed result via weakly supervised learning. Compared to previous methods, our method advances in three aspects: (i) pure data-driven model; (ii) the end-to-end system; (iii) superior robustness, accuracy, and applicability. Extensive experiments demonstrate that our DR-Net outperforms the state-of-the-art methods on both synthetic and real images in qualitative and quantitative metrics. Additionally, the utility of DR-Net has been illustrated by its potential usage in several important computer vision tasks.

研究の動機と目的

• 従来の単一画像除霧手法の限界、例えば手作業で設計された事前知識への依存や段階的誤差の蓄積を解消すること。
• 手作業によるパラメータチューニングを不要とし、多様な曇りの状況にわたる視覚的品質とロバストネスを向上させる、完全にデータ駆動型のエンドツーエンド深層学習フレームワークの開発。
• ピクセルレベルのアノテーションを必要とせず、画像レベルの監視のみで行う弱教師付き精練により、除霧画像のコントラストと色再現性を向上させること。
• さまざまな曇りの状態に応じた手動パrameterチューニングへの依存を低減することで、実用的応用性を高めること。

提案手法

• ネットワークは3つのサブネットワークで構成される：透過率予測、はぎれ除去、および精練。これによりエンドツーエンド学習が可能となる。
• 透過率予測サブネットワークは、深層畳み込み層を用いて入力の曇り画像から透過率マップを推定する。
• はぎれ除去サブネットワークは、予測された透過率マップをステアリング信号として用いて、元の明瞭画像を再構築する。
• 精練サブネットワークは、画像レベルの監視のみを用いて弱教師付きの画像対画像変換により、画像のディテールと色を向上させる。
• 再構築品質と知覚的品質の両方を最適化する統合損失関数を用いて、エンドツーエンドでネットワーク全体を学習する。
• ガイドドフィルタリングなどの後処理ステップを回避することで、誤差伝搬を低減し、学習収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 完全にデータ駆動型のエンドツーエンド深層学習フレームワークは、手作業で設計された事前知識に依存する従来手法を上回ることができるか？
• RQ2 透過率マップをステアリング信号として組み込むことで、除霧性能と学習安定性はどのように向上するか？
• RQ3 密度の高いアノテーションを必要としない弱教師付き精練は、視覚的品質をどの程度向上させることができるか？
• RQ4 提案されたアーキテクチャは、重い曇り、はぎれのない画像、低照度状況を含む、実世界の曇り画像に対しても十分に一般化できるか？

主な発見

• DR-Net は合成データおよび実世界データの両方で最先端の性能を達成し、定性的および定量的指標の両面で先行手法を上回っている。
• 重い曇り、はぎれのない画像、白い物体を含むシーンなど、挑戦的な状況に対しても良好に一般化しており、過剰強調や色ずれを回避している。
• 透過率予測サブネットワークを削除すると、学習収束性と最終的な結果の品質が著しく劣化するため、除霧プロセスのガイドとしてのその役割が確認された。
• 弱教師付き精練サブネットワークは、より高い SURF キーポoinトマッチング率と向上した物体検出精度によって、コントラストと色再現性の向上が有効に実現されていることが裏付けられている。
• DR-Net は、さまざまな曇り濃度に対してガンマやその他のパrameterの手動チューニングを必要とせず、実用的利便性が向上している。
• キーポイントマッチングおよび物体検出の応用において、DR-Net は下流のビジョンタスクを向上させており、精練済みペアでは 344 個の SURF マッチが得られたのに対し、元の曇り画像ペアでは 226 個であった。