[論文レビュー] You Only Look Yourself: Unsupervised and Untrained Single Image Dehazing Neural Network

Boyun Li, Yuanbiao Gou+4 more|arXiv (Cornell University)|Jun 30, 2020

Image Enhancement Techniques参考文献 29被引用数 14

ひとこと要約

本稿では、教師あり学習に依存せず、ペaired学習データや外部画像コレクションを必要としない、単一画像の霞まし除去のための新規な自己教師ありで事前学習を行わない深層ニューラルネットワークYOLYを提案する。この手法は、自己教師あり再構成と変分推論を活用することで、教師なし手法の中で最先端の性能を達成し、実世界および合成データセットにおいて優れた霞まし除去と現実的な霞の転送能力を示している。

ABSTRACT

In this paper, we study two challenging and less-touched problems in single image dehazing, namely, how to make deep learning achieve image dehazing without training on the ground-truth clean image (unsupervised) and a image collection (untrained). An unsupervised neural network will avoid the intensive labor collection of hazy-clean image pairs, and an untrained model is a ``real'' single image dehazing approach which could remove haze based on only the observed hazy image itself and no extra images is used. Motivated by the layer disentanglement idea, we propose a novel method, called you only look yourself ( extbf{YOLY}) which could be one of the first unsupervised and untrained neural networks for image dehazing. In brief, YOLY employs three jointly subnetworks to separate the observed hazy image into several latent layers, extit{i.e.}, scene radiance layer, transmission map layer, and atmospheric light layer. After that, these three layers are further composed to the hazy image in a self-supervised manner. Thanks to the unsupervised and untrained characteristics of YOLY, our method bypasses the conventional training paradigm of deep models on hazy-clean pairs or a large scale dataset, thus avoids the labor-intensive data collection and the domain shift issue. Besides, our method also provides an effective learning-based haze transfer solution thanks to its layer disentanglement mechanism. Extensive experiments show the promising performance of our method in image dehazing compared with 14 methods on four databases.

研究の動機と目的

• 大規模な霞まし画像とクリア画像のペアを学習に必要とする教師あり深層学習手法の限界を解消すること。
• 合成学習データに起因するドメインギャップ問題を解消するため、真に教師なしで事前学習を行わないアプローチを開発すること。
• 事前学習モデルや外部画像コレクションを一切使用せず、入力の霞まし画像のみを用いてエンドツーエンドの霞まし除去を可能にすること。
• 霞まし除去プロセスの副産物として、学習されたレイヤーの分離による現実的な霞の転送の可能性を検討すること。

提案手法

• YOLYは、霞まし画像をシーンの放射率、透過率マップ、大気光の3つの潜在的レイヤーに分解するため、3つの共同最適化されたサブネットワークを採用する。
• 自己教師あり再構成損失を用いて、再構成された画像が入力の霞まし画像と一致することを保証し、教師なし学習を可能にする。
• 変分推論に基づく損失（LH と LKL）を導入し、潜在空間の正則化を図り、分離品質の向上を図る。
• 3つのレイヤー間の特徴表現と一貫性を強化するため、共同最適化フレームワーク（J-Net）を設計する。
• 大気光の推定を安定化させるために正則化損失（LReg）を適用し、耐障害性を向上させる。
• 入力の霞まし画像から霞の特徴を抽出し、それをターゲット画像に適用することで、エンドツーエンドの霞まし除去と霞の転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 教師付きクリア画像やペアデータからの教師信号が一切ない状態で、深層ニューラルネットワークが単一画像の霞まし除去を実行可能か？
• RQ2 大規模な画像コレクションや外部データセットでの事前学習を必要としない霞ましモデルを設計可能か？
• RQ3 レイヤー分離の有効性は、明示的な教師信号なしに、霞まし除去と現実的な霞の転送の両方を実現するためにどの程度効果を発揮するか？
• RQ4 教師なしで事前学習を行わない手法が、教師ありの最先端手法とどの程度性能を比較できるか？
• RQ5 分離された潜在表現（放射率、透過率、光）を用いて、クリア画像から現実的な霞まし画像を合成可能か？

主な発見

• HSTSデータセットにおいて、YOLYはPSNR 23.82、SSIM 0.9125を達成し、すべての教師なしベースラインを上回った。
• アブレーションスタディにより、LH、LKL、L_J、LRegの各要素が性能向上に寄与していることが確認され、特にL_Jが最大の寄与（ベースライン比PSNR +1.29）を示した。
• DehazeNetと比較して、YOLYは細部の保持やハローアーチファクトの低減において優れた定性的な結果を示した。
• 本手法は、実世界の霞まし画像から得た霞の特徴を、クリア画像に転送し、手作業による手法よりも現実的な霞の分布を再現できた。
• 霞の転送実験では、YOLYが生成した霞まし画像が、カメラに近い部分に濃い霞が集中し、距離が遠くなるに従い徐々に希釈されるという現実の霞のパターンをよりよく再現していた。
• モデルはドメイン間でも優れた一般化性能を示し、屋内・屋外の両方のシーンで良好な性能を発揮し、ドメイン間移行（屋内→屋外、屋外→屋内）にも対応していた。