[論文レビュー] A Comprehensive Survey and Taxonomy on Single Image Dehazing Based on Deep Learning

Jie Gui, Xiaofeng Cong+6 more|arXiv (Cornell University)|Jun 7, 2021

Image Enhancement Techniques被引用数 6

ひとこと要約

本論文は、深層学習に基づく単一画像の霞消去手法について包括的なサーベイと分類体系を提示し、教師あり、半教師あり、教師なしのアプローチに分類している。大気散乱モデル、損失関数、データセット、評価指標といった重要な要素を分析し、ドメイン一般化や知覚的損失最適化といった未解決の課題を特定している。

ABSTRACT

With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.

研究の動機と目的

• 教師あり、半教師あり、教師なしの学習アプローチを含む、深層学習に基づく単一画像の霞消去手法の体系的レビューを提供すること。
• ネットワークアーキテクチャ、損失関数、評価指標などのデハジングモデルのコアな要素を分析・分類すること。
• 現実世界の霞消去における未解決の課題、例えばドメインシフト、一般化可能な事前知識の欠如、および高レベルのビジョンタスクへの影響を特定・議論すること。
• 今後の研究のための、デハジング手法と関連資料を整理したGitHubリポジトリを提供すること。

提案手法

• デハジング手法をASMベースと非ASMベースに分類し、学習パラダイム（教師あり、半教師あり、教師なし）に基づいてサブカテゴリに分類する。
• 一般的に使用されるデータセット（例：SOTS、Cityscapes、KITTI）、評価指標（例：PSNR、SSIM、LPIPS）、損失関数（例：L1、知覚的損失、GAN損失）をレビューする。
• 最先端のモデルで用いられるモジュール（例：アテンション機構、スキップ接続、マルチスケール特徴）を分析する。
• 標準ベンチマークを用いて、ベースラインモデル間の定量的・定性的な性能を比較する。
• 近年の教師なし・半教師あり学習の知見を統合し、合成ペairedデータへの依存度を低減する。
• 主要なアイデアと技術的アプローチに基づいて、手法を体系的に分類するための分類表（表1）を提案する。

実験結果

リサーチクエスチョン

• RQ1 教師あり、半教師あり、教師なしの深層学習手法は、単一画像の霞消去において、設計および性能の点でどのように異なるか？
• RQ2 デハジング品質と一般化性能を向上させるために、最も効果的な損失関数とネットワークアーキテクチャは何か？
• RQ3 既存のデハジングモデルは、物体検出やセグメンテーションなどの下流の高レベルビジョンタスクでどの程度性能を向上させるか？
• RQ4 現在の評価指標は、知覚的品質や現実世界におけるロバストネスをどの程度適切に捉えているか？
• RQ5 事前知識やドメイン一般化技術を活用することで、はっきりとした悪影響を軽減し、深層学習モデルへのはっきりした悪影響を緩和できるか？

主な発見

• 大気散乱モデル（ASM）とエンドツーエンドCNNに基づく教師ありデハジングモデルは高い性能を達成しており、4kDehazingのような一部のモデルでは4K画像を125fps（1画像あたり8ms）で処理できる。
• 非ASMベースのデハジングネットワークは、ASMベースのモデルと同等の性能を示しており、深層学習が明示的な物理モデルなしにデハジングを学習できることを示している。
• 半教師ありおよび教師なし手法は、合成ペアデータへの依存度を低減し、現実の霞がかった画像への一般化性能を向上させている。
• VGG16/VGG19を用いた知覚的損失は視覚的品質を向上させるが、一般用途の損失としての有効性は未検証であり、最適とは限らない可能性がある。
• 一部のデハジング手法は、画像分類モデルに対して限定的または逆に悪影響を及ぼすことがあるため、高レベルのビジョンタスクへの潜在的な副作用が生じる可能性がある。
• CNNベースのデハジングには普遍的に有効な統計的事前知識が存在せず、より強固で一般化可能な事前知識を同定するためのさらなる研究が求められている。