[論文レビュー] Domain Adaptation for Image Dehazing

Yuanjie Shao, Lerenhan Li+3 more|arXiv (Cornell University)|May 10, 2020

Image Enhancement Techniques参考文献 36被引用数 6

ひとこと要約

本稿では、双方向的画像変換ネットワークと一貫性損失を用いて、合成はきん画像と実際のはきん画像間のドメインシフトを低減するエンドツーエンドのドメイン適応フレームワークを提案する。クリア画像の事前知識（例えば、ダークチャネル法や勾配平滑化）を活用して実際のはきん画像を訓練に組み込むことで、合成データおよび実世界データの両方で最先端の性能を達成し、PSNRで最大3.94 dB、SSIMで0.07の向上を達成した。

ABSTRACT

Image dehazing using learning-based methods has achieved state-of-the-art performance in recent years. However, most existing methods train a dehazing model on synthetic hazy images, which are less able to generalize well to real hazy images due to domain shift. To address this issue, we propose a domain adaptation paradigm, which consists of an image translation module and two image dehazing modules. Specifically, we first apply a bidirectional translation network to bridge the gap between the synthetic and real domains by translating images from one domain to another. And then, we use images before and after translation to train the proposed two image dehazing networks with a consistency constraint. In this phase, we incorporate the real hazy image into the dehazing training via exploiting the properties of the clear image (e.g., dark channel prior and image gradient smoothing) to further improve the domain adaptivity. By training image translation and dehazing network in an end-to-end manner, we can obtain better effects of both image translation and dehazing. Experimental results on both synthetic and real-world images demonstrate that our model performs favorably against the state-of-the-art dehazing algorithms.

研究の動機と目的

• 深層学習ベースのはきん除去における合成はきん画像と実際のはきん画像の間のドメインシフト問題に対処する。
• 合成データで訓練されたはきん除去モデルが実世界のはきん画像に適用された際の一般化性能を向上させる。
• クリア画像の事前知識（ダークチャネル法や画像勾配平滑化など）を活用して実際のはきん画像を訓練に組み込むことで、実画像におけるはきん除去性能を向上させる。
• 画像変換とはきん除去を同時に最適化できるエンドツーエンドで学習可能なフレームワークを構築する。
• 合成および実世界のはきん画像ベンチマークの両方で優れた視覚的および定量的結果を達成する。

提案手法

• シーンの深度情報に基づいてリアルさを向上させるように、合成はきん画像と実際のはきん画像の間を双方向に変換するネットワークを用いる。
• 元の画像と変換された画像の両方を入力として用い、合成画像用と実際のはきん画像用のそれぞれ別のはきん除去ネットワークを訓練する。
• 2つのドメイン特化はきん除去ネットワークの出力間に一貫性損失を課し、ドメイン間で一致した予測を保証する。
• クリア画像の性質（ダークチャネル法や画像勾配平滑化など）を活用して、実際のはきん画像をはきん除去の訓練に組み込むことで、ドメイン適応性を向上させる。
• 画像変換ネットワークとはきん除去ネットワークをエンドツーエンドで学習させ、相互最適化を可能にし、性能を向上させる。
• 教師なしの監視のもとで、変換とはきん除去を共同最適化するマルチステージの訓練戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 双方向的画像変換は、合成はきん画像と実際のはきん画像の間のドメインギャップを効果的に低減できるか？
• RQ2 クリア画像の事前知識を用いて実際のはきん画像を訓練に組み込むことで、実世界データにおけるはきん除去の一般化性能が向上するか？
• RQ3 ドメイン特化はきん除去ネットワーク間の一貫性損失は、性能とロバストネスを向上させられるか？
• RQ4 提案されたエンドツーエンドのドメイン適応フレームワークは、合成および実際のはきん画像の両方で最先端のはきん除去手法と比較してどのように優れているか？
• RQ5 画像変換モジュールと教師なし損失は、全体のはきん除去性能にどの程度寄与しているか？

主な発見

• STOS合成データセットでは、提案手法がPSNR 27.76、SSIM 0.9284を達成し、最先端手法EPDNをPSNRで3.94 dB、SSIMで0.04上回った。
• HazeRD 実世界データセットでは、PSNR 29.81、SSIM 0.9421を達成し、EPDNをPSNRで0.7 dB、SSIMで0.07上回った。
• アブレーションスタディの結果、画像変換ネットワークと教師なし損失の両方が性能向上に顕著に寄与しており、全モデルがすべてのアブレーションバリアントを上回るPSNRおよびSSIMを達成した。
• URHIデータセットの実際のはきん画像における視覚的結果では、NLD、GFN、DehazeNet、AOD-Net、DCPDN、EPDNと比較して、本手法が明るく、クリアで、色ずれやはきんアーティファクトが少ない画像を生成した。
• S2Rバリアント（合成から実画像への変換）のみでも、合成データでのみ訓練した場合に比べてはきん除去品質が向上しており、ドメイン変換がドメインシフトを低減することの有効性を示している。
• 変換モジュールと教師なし損失を併用した全モデルが最も優れた視覚的品質を達成し、明るい空やより詳細なテクスチャが再現されており、各モジュール間の相乗効果を確認した。