[論文レビュー] Perceptually Optimized Generative Adversarial Network for Single Image Dehazing

Yixin Du, Xin Li|arXiv (Cornell University)|May 3, 2018

Image Enhancement Techniques参考文献 14被引用数 7

ひとこと要約

本稿では、透過率マップ推定を回避し、深層残差ネットワークを用いたエンドツーエンドの非線形写像を学習することで、単一画像の霞ましを直接的ディープラーニングアプローチとして行う、Perceptually Optimized GAN (POGAN) を提案する。敵対的学習と適応的知覚損失、およびガイド付きフィルタリングを統合し、ハローアーチファクトを抑制することで、特に多様な霞まし状態や複雑な深度不連続性下でも優れた知覚的品質と競争力のあるPSNR/SSIMを達成する。

ABSTRACT

Existing approaches towards single image dehazing including both model-based and learning-based heavily rely on the estimation of so-called transmission maps. Despite its conceptual simplicity, using transmission maps as an intermediate step often makes it more difficult to optimize the perceptual quality of reconstructed images. To overcome this weakness, we propose a direct deep learning approach toward image dehazing bypassing the step of transmission map estimation and facilitating end-to-end perceptual optimization. Our technical contributions are mainly three-fold. First, based on the analogy between dehazing and denoising, we propose to directly learn a nonlinear mapping from the space of degraded images to that of haze-free ones via recursive deep residual learning; Second, inspired by the success of generative adversarial networks (GAN), we propose to optimize the perceptual quality of dehazed images by introducing a discriminator and a loss function adaptive to hazy conditions; Third, we propose to remove notorious halo-like artifacts at large scene depth discontinuities by a novel application of guided filtering. Extensive experimental results have shown that the subjective qualities of dehazed images by the proposed perceptually optimized GAN (POGAN) are often more favorable than those by existing state-of-the-art approaches especially when hazy condition varies.

研究の動機と目的

• 透過率マップに基づく霞まし手法の限界、すなわち誤差の伝搬や知覚的最適化の不足を是正すること。
• 中間の透過率マップ推定を排除することで、単一画像の霞ましにおける知覚的品質最適化のためのエンドツーエンド学習を可能にすること。
• 深さの不連続部周辺のハロー様アーチファクトを、新規のガイド付きフィルタリングの応用により効果的に抑制すること。
• 濃い霞や夜間のシーンを含む多様な霞まし状態において、耐性と視覚的品質を向上させること。
• 定量的指標（PSNR/SSIM）および主観的視覚的品質の両面で最先端の性能を達成すること。

提案手法

• 深層残差ネットワークを用いて、霞まし画像から霞なし画像への直接的な非線形写像を学習し、霞なし画像を再帰的残差学習の固定点として扱う。
• 生成的敵対的ネットワーク（GAN）フレームワークを導入し、識別器を用いて復元画像の知覚的品質を向上させる。
• 霞まし状態に応じて重みを調整する適応的知覚損失関数を採用し、さまざまな霞の密度における一般化性能を向上させる。
• 元の霞まし画像をガイドとして用い、再帰的に学習された残差画像にガイド付きフィルタリングを適用し、深さの不連続部におけるハロー・アーチファクトを効果的に抑制する。
• 中間の透過率マップ推定を一切行わず、エンドツーエンドで学習することで、知覚的および構造的忠実度の共同最適化を可能にする。
• 生成器の出力を再帰的に入力としてフィードバックする再帰的残差学習スキームを採用し、固定点解への段階的改善を可能にする。

実験結果

リサーチクエスチョン

• RQ1 透過率マップ推定を回避する直接的なディープラーニングアプローチは、従来のモデルベースまたは学習ベースの手法に比べ、単一画像の霞ましにおいてより優れた知覚的品質を達成できるか？
• RQ2 変動する霞まし状態下で、適応的知覚損失を用いた敵対的学習は、復元画像の視覚的品質をどれほど向上させられるか？
• RQ3 ガイド付きフィルタリングは、特に大きなシーンの深さの不連続部において、復元画像内のハロー様アーチファクトを効果的に抑制できるか？
• RQ4 透過率マップ推定を一切行わないエンドツーエンド学習は、多様な現実世界の霞ましシーンにおける耐性と一般化性能を向上させるか？
• RQ5 提案手法は、定量的指標および主観的視覚的評価の両面で、最先端の手法をどの程度上回るか？

主な発見

• POGANは、濃い霞と大きな深度変動を伴う複雑なシーンにおいて、最先端の手法に比べ顕著に優れた主観的視覚的品質を達成する。
• ImageSet Aでは、平均PSNRが21.82 dB、SSIMが0.896を達成し、テストされたすべての霞まし状態で他手法を上回る性能を示す。
• ImageSet Bでは、平均PSNRが20.14 dB、SSIMが0.951を達成し、多様な現実世界のシーンにおいて強力な性能を示す。
• 実世界の画像（ImageSet C）では、特にポートレート、ランドスcape、建築シーンにおいて、色の再現性と鮮やかさの回復が顕著に優れており、他の手法を大きく上回る。
• 適応的知覚損失により、霞の密度がβ = 0.7から1.5に変動する状況でも一貫した性能を発揮し、濃い霞状態下での平均PSNRは16.73 dB、SSIMは0.774を記録する。
• ガイド付きフィルタリングの後処理により、特に深さの不連続部周辺のハロー・アーチファクトが効果的に低減され、視覚的比較および残差解析によって確認された。