[論文レビュー] An Effective Two-Branch Model-Based Deep Network for Single Image Deraining

Yinglong Wang, Dong Gong+5 more|arXiv (Cornell University)|May 14, 2019

Image Enhancement Techniques参考文献 43被引用数 5

ひとこと要約

本稿では、1枚の画像からの除雨処理において、雨滴が蓄積することで生じる雨じめりとハゼ状の効果を明示的にモデル化する2本のブランチからなる深層ニューラルネットワーク、AMPE-Netを提案する。物理的雨画像モデルをエンドツーエンド学習と統合することで、伝達率（ハゼ）と雨層パラメータを同時に推定し、合成データおよび実世界データの両方で、客観的指標および視覚的品質の両面で最先端の性能を達成した。

ABSTRACT

Removing rain effects from an image is of importance for various applications such as autonomous driving, drone piloting, and photo editing. Conventional methods rely on some heuristics to handcraft various priors to remove or separate the rain effects from an image. Recent deep learning models are proposed to learn end-to-end methods to complete this task. However, they often fail to obtain satisfactory results in many realistic scenarios, especially when the observed images suffer from heavy rain. Heavy rain brings not only rain streaks but also haze-like effect caused by the accumulation of tiny raindrops. Different from the existing deep learning deraining methods that mainly focus on handling the rain streaks, we design a deep neural network by incorporating a physical raining image model. Specifically, in the proposed model, two branches are designed to handle both the rain streaks and haze-like effects. An additional submodule is jointly trained to finally refine the results, which give the model flexibility to control the strength of removing the mist. Extensive experiments on several datasets show that our method outperforms the state-of-the-art in both objective assessments and visual quality.

研究の動機と目的

• 濃い雨の状況で、密集した雨滴によって生じるハゼ状の効果を適切に処理できない既存の深層学習による除雨手法の限界を解決すること。
• 背景、伝達率（ハゼ）、雨層の組み合わせとして雨の画像をモデル化することで、単純な加法的残差とは異なり、除雨性能を向上させること。
• ハゼ除去の強度を制御可能な柔軟なネットワークアーキテクチャを構築し、過剰に明るくなりすぎたり、不自然な色調の変化が生じるのを防ぐこと。
• 学習可能な深層ネットワークフレームワークに物理的事前知識を組み込むことで、耐性および一般化性能を向上させること。
• ぼやけた雨じめりや色の劣化を伴うケースを含め、合成および実世界の雨の画像の両方で有効性を示すこと。

提案手法

• 新しい物理的雨画像モデルを提案：$\mathbf{I} = \mathbf{T} \circ \mathbf{B} + \mathbf{R}$ ここで $\mathbf{T}$ は雨滴の蓄積による伝達損失（ハゼ状効果）をモデル化し、$\mathbf{B}$ は綺麗な背景、$\mathbf{R}$ は雨じめり層を表す。
• 入力の雨の画像 $\mathbf{I}$ から伝達率 $\mathbf{T}$ と雨層 $\mathbf{R}$ を同時に推定するための2本のブランチ（EstNet-T と EstNet-R）を持つネットワーク（AMPE-Net）を設計。
• 強い雨じめりの位置マップを予測する LocNet を導入し、$\mathbf{T}$ と $\mathbf{R}$ の推定をガイドすることで、局所化精度と特徴抽出の質を向上させる。
• SPP（空間ピラミッドプーリング）と学習可能な重み付き合成（$\alpha$）を備えたリファインメントモジュール（RefNet）を用い、ハゼ除去の強度を制御し、過剰な明るさの上昇を防ぐ。
• 物理モデルに適合させるために、2本のブランチユニットを交互に最適化する逆写像損失関数を用いて学習を行う。
• 監視に $\mathcal{L}_1$ および $\mathcal{L}_2$ 損失関数を適用し、アブレーションスタディでは $\mathcal{L}_2$ がわずかに性能向上に寄与している。

実験結果

リサーチクエスチョン

• RQ1 蓄積した雨滴によって生じるハゼ状効果をモデル化することで、濃い雨の状況下での除雨性能が顕著に向上するか？
• RQ2 深層学習フレームワークに物理的画像形成モデルを統合することで、エンドツーエンド学習のみに比べ、一般化性能および視覚的品質が向上するか？
• RQ3 2本のブランチアーキテクチャが、単一ブランチまたは残差ベースの手法よりも、伝達率および雨層パラメータの推定をより効果的に行えるか？
• RQ4 除雨結果におけるハゼ除去の強度を制御可能にすることで、過剰に明るくなりすぎず、自然な色合いを保った結果を得られるか？
• RQ5 位置ガイド付きネットワーク（LocNet）の導入により、雨およびハゼパラメータ推定の精度がどのように向上するか？

主な発見

• AMPE-Net は合成データ（Rain-I および Rain-II）および実世界データの両方で最先端の性能を達成し、Rain-II では PSNR 28.90、SSIM 0.853 を記録し、以前のSOTA手法を上回った。
• アブレーションスタディにより、LocNet（ガイド）および EstNet-T（伝達率推定）が重要な構成要素であることが確認され、EstNet-T を削除すると性能が最も著しく低下した。
• 本手法は雨じめりとハゼ状効果の両方を効果的に除去しており、他の手法が残留じめりや不自然な色調を残すのに対し、視覚的比較で優れた結果を示した。
• RefNet モジュールにより、パrameter $\alpha$ を用いてハゼ除去の強度を柔軟に制御でき、結果の自然さと鮮明さのバランスをユーザーが調整可能となった。
• モデルは他の天候条件に対しても一般化が良好である：デハージングデータで学習した場合、わずかな修正で実世界の霞みのある画像を効果的に処理できた。
• 実世界画像における視覚的結果から、AMPE-Net は微細なディテールと自然な色合い（例：水色の透かし文字が薄く残る）を保持しており、他の手法で見られる過剰な明るさの上昇やブロッキングアーティファクトを回避した。