[論文レビュー] Physical Model Guided Deep Image Deraining

Honghe Zhu, Cong Wang+3 more|arXiv (Cornell University)|Mar 30, 2020

Image Enhancement Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、単一画像のレイン除去のための物理モデル誘導型ディープラーニングフレームワークを提案する。この手法は、雨じめりんと雨なし画像を同時に推定し、それらの連結を精緻化のガイドとして用い、線形モデル O = B + R に基づく物理的制約を課す。マルチスケールリーマンブロック（MSRB）を導入し、マルチスケール特徴抽出を強化することで、合成データおよび実世界データの両方で最先端の性能を達成し、PSNR は最大 28.97、SSIM は 0.9015 を達成した。

ABSTRACT

Single image deraining is an urgent task because the degraded rainy image makes many computer vision systems fail to work, such as video surveillance and autonomous driving. So, deraining becomes important and an effective deraining algorithm is needed. In this paper, we propose a novel network based on physical model guided learning for single image deraining, which consists of three sub-networks: rain streaks network, rain-free network, and guide-learning network. The concatenation of rain streaks and rain-free image that are estimated by rain streaks network, rain-free network, respectively, is input to the guide-learning network to guide further learning and the direct sum of the two estimated images is constrained with the input rainy image based on the physical model of rainy image. Moreover, we further develop the Multi-Scale Residual Block (MSRB) to better utilize multi-scale information and it is proved to boost the deraining performance. Quantitative and qualitative experimental results demonstrate that the proposed method outperforms the state-of-the-art deraining methods. The source code will be available at \url{https://supercong94.wixsite.com/supercong94}.

研究の動機と目的

• 雨の形成モデル O = B + R からの物理的事前知識を活用することで、単一画像のレイン除去という極めて不適切な問題を解決すること。
• 雨じめりんと雨なし画像を別々に扱うのではなく、同時に推定することで、レイン除去性能を向上させること。
• 新規のマルチスケールリーマンブロック（MSRB）を用いてマルチスケール情報を統合することで、特徴表現を強化すること。
• 推定された雨じめりんと雨なし画像の連結を用いて学習プロセスをガイドすることで、詳細およびテクスチャの回復を向上させること。
• アブレーションおよび比較実験を通じて、物理的モデル制約およびマルチスケール設計の有効性を検証すること。

提案手法

• ネットワークは3つのサブネットワークから構成される：雨じめりんネットワーク、雨なしネットワーク、および2つの推定画像の連結を入力とするガイド学習ネットワーク。
• ガイド学習ネットワークは、推定された雨じめりんと雨なし画像の連結を用いて、最終出力を精緻化し、クロス特徴ガイドを可能にする。
• 物理的制約は、入力の雨がけ画像と推定された雨じめりんと雨なし画像の和とのL1ノルム差を最小化することで適用される。
• マルチスケールリーマンブロック（MSRB）は、さまざまなサイズおよび方向を有する雨じめりんの表現を向上させるために設計され、複数スケールの特徴を抽出する。
• 特徴マップにおけるマルチスケールの文脈的情報を捉えるために、マルチストリームのドレインド畳み込みが採用される。
• 損失関数は、知覚的損失とL1損失を組み合わせており、観測された雨がけ画像との整合性を保つために物理的モデルに基づくLp損失が追加されている。

実験結果

リサーチクエスチョン

• RQ1 物理的モデルに基づく制約を導入することで、そのような制約なしのエンドツーエンド学習に比べ、単一画像のレイン除去のロバスト性と正確性が向上するか？
• RQ2 ガイド学習機構を介した雨じめりんと雨なし画像の同時推定は、レイン除去性能にどのように寄与するか？
• RQ3 専用のMSRBブロックによるマルチスケール特徴抽出を組み込むことで、複雑な雨じめりんパターンの表現はどの程度向上するか？
• RQ4 推定された雨じめりんと雨なし画像の連結は、最終的なレイン除去出力の精緻化に有効なガイドとして機能するか？
• RQ5 マルチスケール設計、物理的制約、ガイド学習の各構成要素は、合成および実世界の設定において、全体の性能にどの程度寄与しているか？

主な発見

• 提案手法はベンチマークデータセットでPSNR 28.97、SSIM 0.9015を達成し、定量的および定性的な評価の両方で最先端手法を上回った。
• アブレーションスタディの結果、マルチスケール構造が性能向上に顕著に寄与しており、PSNRが最大0.73 dB向上した。
• 物理的モデル制約（Lp損失）により、画像の詳細がよりよく保持され、アーチファクトが低減され、SSIMおよびPSNR値の向上が確認された。
• 雨じめりんネットワークと雨なしネットワークからの連結特徴を用いるガイド学習ネットワークは、一方の推定成分のみを用いるモデルに比べ、優れた結果を達成した。
• 実世界画像における可視的比較では、本手法が最小限の残留雨じめりんとアーチファクトを伴い、DDN、JORDER、RESCAN、PReNetを上回る最も明確な結果を生成した。
• MSRBブロックは、さまざまなスケールおよび密度の雨じめりんを捉える能力を向上させることが、経験的に確認された。