[論文レビュー] Deep joint rain and haze removal from single images

Liang Shen, Zihan Yue+3 more|arXiv (Cornell University)|Jan 21, 2018

Image Enhancement Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、ハールウェーブレット分解を用いて高周波成分の雨じめんを分離し、暗いチャネルの前提をネイピアチャネルとしての特徴マップとして統合することで、単一画像からの雨と霞の同時除去を実現する二本の分岐型CNN、SRR-netとDJRHR-netを提案する。本手法は合成データおよび実世界データの両方で最先端の性能を達成しており、SRR-netは15.75のPSNRを達成し、DJRHR-netはSIRR-net、Detail-net、JORDERを視覚的および定量的指標において上回っている。

ABSTRACT

Rain removal from a single image is a challenge which has been studied for a long time. In this paper, a novel convolutional neural network based on wavelet and dark channel is proposed. On one hand, we think that rain streaks correspond to high frequency component of the image. Therefore, haar wavelet transform is a good choice to separate the rain streaks and background to some extent. More specifically, the LL subband of a rain image is more inclined to express the background information, while LH, HL, HH subband tend to represent the rain streaks and the edges. On the other hand, the accumulation of rain streaks from long distance makes the rain image look like haze veil. We extract dark channel of rain image as a feature map in network. By increasing this mapping between the dark channel of input and output images, we achieve haze removal in an indirect way. All of the parameters are optimized by back-propagation. Experiments on both synthetic and real- world datasets reveal that our method outperforms other state-of- the-art methods from a qualitative and quantitative perspective.

研究の動機と目的

• 単一の屋外画像から、疎な雨じめんと密な雨じめん、および霞のような劣化を同時に除去する課題に対処すること。
• ウェーブレットに基づく周波数分離と暗いチャネルの前提を学習可能な特徴として統合することで、既存の単一画像除雨手法を改善すること。
• エンドツーエンドのバックプロパゲーションにより、雨と霞の除去を同時に最適化する統合的な深層学習フレームワークを設計すること。
• 制御された雨と実世界の複雑な天候劣化を伴う画像を含む、合成データセットと実世界データセットの両方で性能を評価すること。

提案手法

• 入力画像をハールウェーブレット変換により4つのサブバンド（LL、LH、HL、HH）に分解し、LLは背景を捉え、HL/LH/HHは雨じめんとエッジを表す。
• 入力画像の暗いチャネルをCNN内での特徴マップとして扱い、入力と出力の暗いチャネル間のマッピングを学習することで、間接的に霞の除去を実現する。
• 2つの異なるネットワークを設計：SRR-netは疎な雨じめんを対象とし、DJRHR-netは密な雨じめんと霞を対象とし、成長率K=12、L=3層のドレインブロックを用いる。
• すべてのネットワークパラメータを同時に最適化するため、Adam最適化子とバックプロパゲーションを用いたエンドツーエンド学習を実施する。
• 2つのデータセットを構築：TrainSet Aは綺麗な画像に合成された雨を含み、TrainSet BはNYU Depth Dataset V2の画像を大気散乱モデルを用いて雨と霞で劣化させたもの。
• 定量的評価にはPSNR、SSIM、NIQEを用い、PSNR/SSIMが高い値、NIQEが低い値が優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットに基づく周波数分解は、単一画像除雨において、雨じめんと背景を効果的に分離できるか？
• RQ2 暗いチャネルの前提を深層畳み込みニューラルネットワーク内での特徴マップとして効果的に統合できるか？ これにより、遠くの雨に起因する霞のような劣化を同時に処理できるか？
• RQ3 2つのネットワークアーキテクチャ（SRR-netで疎な雨、DJRHR-netで密な雨）を採用することで、単一アーキテクチャモデルに比べて性能が向上するか？
• RQ4 本手法は、合成データおよび実世界の設定において、最先端の除雨ネットワークと比較してどのように性能を発揮するか？

主な発見

• SRR-netは合成テストセットで平均15.75のPSNRを達成し、SIRR-net、Detail-net、JORDERを定量的指標において上回った。
• DJRHR-netは、重度の雨と霞を伴う実世界画像において優れた視覚的結果を達成し、雨じめんとベール状の劣化を効果的に除去した。
• アブレーションスタディの結果、成長率K=12、L=3の深層ネットワークが最良の性能を示し、深さが増すに従いPSNRが14.85から15.75に上昇した。
• 本手法はSIRR-net（1.51）よりも低いNIQE（1.42）を達成しており、復元画像の知覚的品質が優れていることを示している。
• 暗いチャネルを特徴マップとして統合することで、特に視覚的アーチファクトが最小限に抑えられる密な雨の状況において、霞の除去性能が顕著に向上した。