[論文レビュー] A Model-driven Deep Neural Network for Single Image Rain Removal

Hong Wang, Qi Xie+2 more|arXiv (Cornell University)|May 4, 2020

Image Enhancement Techniques参考文献 55被引用数 27

ひとこと要約

本稿では、雨縞の物理的事前知識を畳み込み辞書学習モデルを介して統合するモデル駆動型の深層ニューラルネットワーク、RCDNetを提案する。近接勾配法のアルゴリズムを深層アーキテクチャにアンフォールドすることで、各モジュールが直接的にアルゴリズム的手順に対応し、解釈可能性を完全に保証する。合成および実世界の雨の画像の両方で、定量的指標および視覚的品質の両面で最先端の性能を達成する。

ABSTRACT

Deep learning (DL) methods have achieved state-of-the-art performance in the task of single image rain removal. Most of current DL architectures, however, are still lack of sufficient interpretability and not fully integrated with physical structures inside general rain streaks. To this issue, in this paper, we propose a model-driven deep neural network for the task, with fully interpretable network structures. Specifically, based on the convolutional dictionary learning mechanism for representing rain, we propose a novel single image deraining model and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. Such a simple implementation scheme facilitates us to unfold it into a new deep network architecture, called rain convolutional dictionary network (RCDNet), with almost every network module one-to-one corresponding to each operation involved in the algorithm. By end-to-end training the proposed RCDNet, all the rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to its better deraining performance, especially in real scenarios. Comprehensive experiments substantiate the superiority of the proposed network, especially its well generality to diverse testing scenarios and good interpretability for all its modules, as compared with state-of-the-arts both visually and quantitatively. The source codes are available at \url{https://github.com/hongwang01/RCDNet}.

研究の動機と目的

• 既存の深層学習ベースの雨除去手法における解釈可能性の欠如と物理的事前知識の不十分な統合を解決すること。
• 畳み込み辞書学習を用いて雨縞を明示的にモデル化する深層ネットワークアーキテクチャの開発。これは、雨縞の繰り返し的・構造的な性質を反映する。
• 近接勾配降下法に基づく最適化アルゴリズムの設計。計算効率を確保するため、畳み込み、しきい値処理、およびスリミングといった単純で実装可能な操作のみを用いる。
• ネットワークモジュールとアルゴリズム的手順の1対1対応を保証することで、ネットワーク内部メカニズムの完全な解釈可能性を実現すること。
• エンド・ツー・エンドで物理的に意味のある雨カーネルと背景表現を学習することで、実世界の雨の画像における汎化性と性能を向上させること。

提案手法

• 雨の畳み込み辞書（RCD）モデルを提案。雨縞を学習された雨カーネルとスパースな雨マップで表現し、繰り返し的な局所的パターンを捉える。
• RCDに基づく最適化モデルを解くための近接勾配降下法を設計。計算効率を高めるために、畳み込み、しきい値処理、およびスリミングといった単純な操作のみを用いる。
• 反復的アルゴリズムを深層残差ネットワークアーキテクチャ（RCDNet）にアンフォールドし、各層がアルゴリズム内の1つの操作に正確に対応する。
• エンド・ツー・エンドでRCDNetを訓練し、雨カーネル、スパースな雨マップ、および背景層を同時に学習。物理的に妥当な状態を保ちながらデータに適応する。
• すべての要素—雨カーネル、近接演算子、背景特徴—がバックプロパゲーションにより最適化可能である微分可能定式化を採用。
• マルチスケール残差設計を用いて特徴表現を強化し、雨除去中に繊細なテクスチャを保持する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークモジュールをアルゴリズム的手順に直接対応させることで、完全な解釈可能性を備えた単一画像雨除去用の深層ニューラルネットワークを設計可能か？
• RQ2 具体的に、雨縞の畳み込み辞書学習モデルという物理的事前知識を統合することで、雨除去性能と汎化性にどのような影響を与えるか？
• RQ3 純粋にデータ駆動型のCNNと比較して、モデル駆動型の深層ネットワークは、特に実世界の状況において多様で複雑な雨パターンを処理する上で優れているか？
• RQ4 アルゴリズムの手順とネットワーク層との1対1対応が、ネットワークの透明性と信頼性をどの程度向上させるか？
• RQ5 学習された雨カーネルと近接演算子は、基礎的な雨除去メカニズムに関する有意義な洞察を提供できるか？

主な発見

• SPA-Dataの実世界ベンチマークにおいて、RCDNetは最高のPSNR（41.47）とSSIM（0.9834）を達成し、PReNet、SPANet、JORDER_Eを含むすべてのSOTA手法を上回った。
• Rain100Lデータセットでは、PSNRが40.00 dB、SSIMが0.9860を達成し、合成雨および実際の雨の状況の両方で、すべての競合手法を上回った。
• 視覚的比較では、RCDNetが密集した複雑な雨縞を効果的に除去し、繊細なテクスチャを保持するとともに、特に高密度の雨パターンにおいてアーチファクトを最小限に抑えることが確認された。
• 抽出された雨カーネルとスパースマップは、非常に高い汎化性を示し、背景への漏れが少なく、雨とシーンのレイヤーが明確に分離された状態であった。
• ネットワークの解釈可能性により、各モジュールの役割を直接分析可能であり、雨除去が学習された物理的事前知識によって駆動されていることが確認され、トレーニングデータへの過剰適合ではなく、物理的妥当性に基づくものであることが裏付けられた。
• インターネットデータ（147枚の実際の雨の画像で、正解ラベルなし）においても、RCDNetは優れた性能を維持し、未観測で複雑な雨パターンに対しても強いロバスト性を示した。