[論文レビュー] The Effectiveness of Instance Normalization: a Strong Baseline for Single Image Dehazing

Zheng Xu, Xitong Yang+2 more|arXiv (Cornell University)|May 8, 2018

Image Enhancement Techniques参考文献 35被引用数 17

ひとこと要約

この論文は、スキップ接続とインスタンス正則化を備えたエンコーダ・デコーダアーキテクチャを用いた、単一画像の霞まし除去のためのシンプルでありながら効果的なエンドツーエンドの深層学習フレームワークを提案する。事前学習済みVGG特徴量を活用し、L2損失と知覚的損失の両方で訓練することで、大気散乱モデルや手作業による事前知識に依存せずに、最先端の性能を達成する。ベンチマークデータセットにおいて、先行手法を著しく上回る結果を示した。

ABSTRACT

We propose a novel deep neural network architecture for the challenging problem of single image dehazing, which aims to recover the clear image from a degraded hazy image. Instead of relying on hand-crafted image priors or explicitly estimating the components of the widely used atmospheric scattering model, our end-to-end system directly generates the clear image from an input hazy image. The proposed network has an encoder-decoder architecture with skip connections and instance normalization. We adopt the convolutional layers of the pre-trained VGG network as encoder to exploit the representation power of deep features, and demonstrate the effectiveness of instance normalization for image dehazing. Our simple yet effective network outperforms the state-of-the-art methods by a large margin on the benchmark datasets.

研究の動機と目的

• 霞による画像品質と視認性の低下という、単一画像の霞まし除去という挑戦的な問題に対処すること。
• 手作業による事前知識や明示的な大気散乱モデルに依存する先行手法の限界を克服すること。
• 深層特徴量と正則化技術が、霞まし除去のための有効なインダクティブバイアスとして機能するかを検証すること。
• 今後の単一画像の霞まし除去研究のための、強力でシンプルなベースラインを確立すること。

提案手法

• 空間的詳細を保持するために、スキップ接続を備えたエンコーダ・デコーダアーキテクチャを採用する。
• エンコーダは、強力な深層特徴量を抽出するため、VGGネットワークの事前学習済み畳み込み層を用いる。
• インスタンス正則化を適用して、深層特徴量の統計を適応させ、霞まし除去に向けた特徴表現を向上させる。
• 視覚的品質を向上させるために、L2再構成損失とVGGベースの知覚的損失の組み合わせでネットワークを訓練する。
• 明示的な大気散乱方程式のモデル化をせず、代わりにエンドツーエンド学習に依存する。
• モデルは、RESIDE標準データセットから生成された合成はっきりしていない画像にのみ、訓練される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みネットワークからの深層特徴量にインスタンス正則化を適用することで、画像の霞まし除去性能が著しく向上するか？
• RQ2 明示的な大気モデルや手作業による事前知識を一切用いないエンドツーエンドの深層学習アプローチが、既存の最先端手法を上回るか？
• RQ3 ImageNetで事前学習したモデルが、合成はっきりしていないデータで微調整された場合、単一画像の霞まし除去にどの程度一般化できるか？
• RQ4 明示的な物理的散乱プロセスのモデル化がなくても、事前学習済みVGGネットワークからの深層特徴量が、霞まし除去の強力なインダクティブバイアスとして機能するか？

主な発見

• 提案手法は、RESIDE標準ベンチマークデータセットにおいて、すべての最先端手法を大きく上回る性能を達成した。
• D-Hazy-NYUおよびD-Hazy-MBデータセット（NYU深度データから合成されたもの）においても、優れた定量的結果を達成した。
• I-HazeおよびO-Hazeのクロスドメインデータセットにおいても、ドメインシフトの影響にもかかわらず、競争力ある結果を出力した。これは、優れた一般化性能を示している。
• 定性的な結果から、モデルが霞を効果的に除去し、特に従来手法が失敗する暗く複雑な領域でも現実的な色合いを回復できていることが明らかになった。
• アブレーションスタディの結果、バッチ正則化や他の正則化手法と比較して、インスタンス正則化が性能向上に顕著に寄与していることが確認された。
• 多様なはっきりしていない画像の分布にわたり、モデルが良好に一般化している。これは、学習された深層特徴量の統計がドメインの変化に対して頑健であることを示唆している。