[論文レビュー] Progressive Image Deraining Networks: A Better and Simpler Baseline

Dongwei Ren, Wangmeng Zuo+3 more|arXiv (Cornell University)|Jan 26, 2019

Image Enhancement Techniques参考文献 31被引用数 16

ひとこと要約

本稿では、プログレッシブリミニャスネットワーク（PRN）と再帰的特徴モデリングを組み合わせることで、単一画像のレイン除去のためのより単純で効果的なベースラインとしてPReNetを提案する。再帰的リミニャスブロック、マルチステージ特徴精錬、およびMSEまたはネガティブSSIM損失関数のみを用いたリミニャス学習定式化により、PReNetは合成および実際の雨が降った画像の両方で最先端の性能を達成しており、より深く複雑なモデルを凌駕しているにもかかわらず、高い効率性を維持している。

ABSTRACT

Along with the deraining performance improvement of deep networks, their structures and learning become more and more complicated and diverse, making it difficult to analyze the contribution of various network modules when developing new deraining networks. To handle this issue, this paper provides a better and simpler baseline deraining network by considering network architecture, input and output, and loss functions. Specifically, by repeatedly unfolding a shallow ResNet, progressive ResNet (PRN) is proposed to take advantage of recursive computation. A recurrent layer is further introduced to exploit the dependencies of deep features across stages, forming our progressive recurrent network (PReNet). Furthermore, intra-stage recursive computation of ResNet can be adopted in PRN and PReNet to notably reduce network parameters with graceful degradation in deraining performance. For network input and output, we take both stage-wise result and original rainy image as input to each ResNet and finally output the prediction of {residual image}. As for loss functions, single MSE or negative SSIM losses are sufficient to train PRN and PReNet. Experiments show that PRN and PReNet perform favorably on both synthetic and real rainy images. Considering its simplicity, efficiency and effectiveness, our models are expected to serve as a suitable baseline in future deraining research. The source codes are available at https://github.com/csdwren/PReNet.

研究の動機と目的

• 深層レイン除去ネットワークの複雑さが増すことに起因する、モジュールの分析やモデル開発の妨げとなる問題に対処すること。
• 複雑な最先端モデルを凌駆する、より単純で効果的な単一画像レイン除去のベースラインを確立すること。
• アーキテクチャの複雑さを伴わずに、再帰的ネットワーク設計とリミニャス学習が優れた性能を達成できるかを検証すること。
• 入力構造、出力定式化、損失関数がレイン除去性能に与える影響を評価すること。
• 軽量で効率的なモデルが、重く深く複雑なネットワークを凌駕するか、同等の性能を達成できることを示すこと。

提案手法

• プログレッシブリミニャスネットワーク（PRN）は、パラメータを増加させずに、浅いリミニャスネットワークを複数の段階に再帰的に展開することで構築される。
• 段階間の深層特徴間の長距離依存関係をモデリングするための再帰層を導入し、プログレッシブ再帰ネットワーク（PReNet）を構成する。
• 個々のリミニャスブロックに対して段階内再帰計算を適用することで、パラメータ数を大幅に削減しつつ、性能の低下を最小限に抑える。
• 各段階で、元の雨が降った画像と段階ごとの中間結果を入力として使用することで、特徴表現を強化する。
• 出力は雨層のリミニャス予測であり、単純なMSEまたはネガティブSSIM損失関数を用いたエンドツーエンド学習が可能になる。
• アーキテクチャは単一の損失関数のみを用いて学習されるため、複雑なマルチ損失の組み合わせの必要がなくなる。

実験結果

リサーチクエスチョン

• RQ1 プログレッシブ再帰を用いたより単純で浅いネットワークが、より深く複雑なレイン除去ネットワークを凌駕できるか？
• RQ2 段階間の再帰層を組み込むことで、特徴精錬とレイン除去品質が向上するか？
• RQ3 段階内再帰リミニャスブロックを用いることで、パラメータ数を顕著に削減できるか、性能の低下は最小限か？
• RQ4 MSEやネガティブSSIMなどの単一損失関数のみを用いて、最先端の結果を達成できるか？
• RQ5 入力ストリームに元の雨が降った画像を含めることで、レイン除去性能にどのような影響があるか？

主な発見

• PReNetは、Rain100H、Rain100L、Rain12のすべてのデータセットで、競合する手法を上回る優れたPSNRおよびSSIMの向上を達成しており、少ない画像で学習した場合でも同様である。
• 段階内再帰を導入したパラメータ削減版PReNet rでさえ、すべてのベンチマークデータセットで、すべての最先端手法を上回っている。
• 実際の雨が降った画像では、PReNetはJORDERやDDNよりも視覚的に明確な結果を生成しており、残存する雨のストライプが少ない。
• 動画レイン除去において、PReNetはすべてのフレームで雨のストライプを効果的に除去しており、時間的整合性は保証されていないが、誤差蓄積により失敗するFastDerainを凌駆している。
• PReNetは、軽量で再帰的なアーキテクチャのおかげで、競合モデルよりも顕著に効率的であり、推論時間が速い。
• 単一のMSEまたはネガティブSSIM損失関数の使用により、安定的かつ効果的な学習が可能となり、学習パイプラインが簡素化された。