[論文レビュー] RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining

Hong Wang, Qi Xie+5 more|arXiv (Cornell University)|Jul 14, 2021

Image Enhancement Techniques参考文献 79被引用数 10

ひとこと要約

本稿では、雨じめりんを明確にモデル化する雨畳み畳み辞書（RCD）事前知識を用いて、単一画像の雨除けを実行する解釈可能な深層畳み込み辞書ネットワークRCDNetを提案する。物理的に意味のあるモジュールを用いて反復的プロキシマルアルゴリズムをニューラルネットワークに展開することで、RCDNetは動的雨カーネル推定を介して解釈可能性と一般化性能を実現し、合成および実世界データセットの両方で最先端の性能を達成する。

ABSTRACT

As a common weather, rain streaks adversely degrade the image quality. Hence, removing rains from an image has become an important issue in the field. To handle such an ill-posed single image deraining task, in this paper, we specifically build a novel deep architecture, called rain convolutional dictionary network (RCDNet), which embeds the intrinsic priors of rain streaks and has clear interpretability. In specific, we first establish a RCD model for representing rain streaks and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. By unfolding it, we then build the RCDNet in which every network module has clear physical meanings and corresponds to each operation involved in the algorithm. This good interpretability greatly facilitates an easy visualization and analysis on what happens inside the network and why it works well in inference process. Moreover, taking into account the domain gap issue in real scenarios, we further design a novel dynamic RCDNet, where the rain kernels can be dynamically inferred corresponding to input rainy images and then help shrink the space for rain layer estimation with few rain maps so as to ensure a fine generalization performance in the inconsistent scenarios of rain types between training and testing data. By end-to-end training such an interpretable network, all involved rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to better deraining performance. Comprehensive experiments substantiate the superiority of our method, especially on its well generality to diverse testing scenarios and good interpretability for all its modules. Code is available in \emph{\url{https://github.com/hongwang01/DRCDNet}}.

研究の動機と目的

• 従来の雨除け手法で用いられる手作業による事前知識には、複雑な雨じめりんパターンを捉えきれないという限界があるため、それを是正すること。
• 深層学習ベースの雨除けにおける解釈可能性を向上させるために、物理的事前知識をネットワークアーキテクチャに直接埋め込むこと。
• 推論時に雨カーネルを動的に推定することで、多様な雨の種類にわたる一般化性能を向上させること。
• 雨と背景の特徴を忠実に表現する雨カーネルおよびプロキシマル演算子を、エンドツーエンドで学習できること。
• 学習とテストの雨じめりんパターンが異なる実世界のシナリオにおいて、優れた性能と頑健性を示すこと。

提案手法

• RCDNetアーキテクチャは、雨畳み畳み辞書（RCD）モデルを解くために設計された反復的プロキシマル勾配降下法を展開することで導出される。
• 各ネットワークモジュールは、ソフトスレッディングや畳み込みといったアルゴリズム内の物理的演算に対応しており、解釈可能性を保証する。
• 入力の雨じめりん画像に基づいて雨カーネルを適応的に推定する動的RCDNet（DRCDNet）バージョンを提案し、ドメインギャップ問題を軽減する。
• エンドツーエンドで雨カーネルとプロキシマル演算子を同時に学習することで、雨層および背景層の自動的特徴特徴化を可能にする。
• 雨じめりんは、スパースなマップ上の学習済み雨カーネルのスパース畳み込みとしてモデル化される、辞書学習の定式化を活用する。
• 固定および動的カーネル推定の両方をサポートするため、テスト時に未知の雨の種類に対しても微調整が可能である。

実験結果

リサーチクエスチョン

• RQ1 雨じめりんの内在的事前知識を明示的に埋め込むことで、より高いモデルの透明性を実現する解釈可能な深層ネットワークアーキテクチャを設計できるか？
• RQ2 RCDNetモジュールの解釈可能性は、内部推論プロセスの分析をどのように支援するか？
• RQ3 テスト時の雨じめりんパターンが学習データと異なる場合、動的雨カーネル推定が一般化性能を向上させられるか？
• RQ4 視覚的品質および定量的指標の両面で、RCDNetは最先端の雨除け手法をどの程度上回るか？
• RQ5 提案手法は、雨除け後の下流タスク（例：セマンティックセグメンテーション）においても高い性能を維持できるか？

主な発見

• RCDNetは、合成および実世界の雨除けベンチマークの両方で最先端の性能を達成し、先行手法と比較してPSNRおよびSSIMの面で顕著な向上を示した。
• 動的RCDNet（DRCDNet）は、CRCDNetと比較してセマンティックセグメンテーションタスクのMIOUで2%の相対的改善を示し、一般化性能の向上を実証した。
• Cityscapesデータセットでは、DRCDNetは雨じめりん画像を直接使用した場合と比較して、セグメンテーション精度を約40%向上させた。
• DRCDNetは、JORDER_E（3.12秒）などのSOTA手法よりも高速な推論（1枚あたり0.71秒）を達成しながら、高い精度を維持した。
• 雨カーネルの可視化結果から、ネットワークは現実の観察と整合的な多様で物理的に妥当な雨じめりんパターンを学習していることが明らかになった。
• ネットワークの解釈可能なモジュールにより、特徴の伝搬および変換の可視化が明確に可能となり、モデルの分析およびデバッグを支援した。