[論文レビュー] From Rain Removal to Rain Generation

Hong Wang, Zongsheng Yue+3 more|arXiv (Cornell University)|Aug 8, 2020

Image Enhancement Techniques参考文献 2被引用数 5

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）を用いた変分推論フレームワークにより、方向、スケール、厚さなどの雨筋の内在的物理的要因を学習する、完全ベイズ推論に基づく生成モデルを提案する。雨層を暗黙的な生成器としてモデル化することで、自動的かつ多様な雨パッチの生成が可能となり、トレーニングデータの拡張が実現され、単一画像の雨除去性能が著しく向上するとともに、手動で収集された対応データセットへの依存度が低減する。

ABSTRACT

Single image deraining is an important yet challenging issue due to the complex and diverse rain structures in real scenes. Currently, the state-of-the-art performance on this task is achieved by deep learning (DL)-based methods that mainly benefit from abundant pre-collected paired rainy-clean samples either manually synthesized or semi-automatically generated under human supervision. This tends to bring a large labor for data collection and more importantly, such manner neglects to elaborately explore the intrinsic generative mechanism of rain streaks which should be related to the most insightful understanding of the task. Against this issue, we investigate the generative process of rainy image and construct a full Bayesian generative model for generating rains from automatically extracted latent variables that represent physical structural factors for depicting rains, like direction, scale, and thickness. To solve this model, we propose an algorithm where the posteriors of latent variables are parameterized as CNNs and all the involved parameters can be inferred under a concise variational inference framework in a data-driven manner. Especially, the rain layer is modeled as an implicit distribution, parameterized as a generator, which avoids subjective prior assumptions on rains as in traditional model-based methods. More practically, from the learned generator, rain patches can be automatically generated and utilized to simulate diverse training pairs so as to enrich and augment the existing benchmark datasets. Comprehensive experiments substantiate that the proposed model has fine capability of generating plausible samples that not only helps significantly improve the deraining performance of current DL-based single image derainers, but also largely loosens the requirement of large training sample pre-collection for the task.

研究の動機と目的

• 現在のディープラーニングベースの雨除去手法が、大規模で手動で収集された対応する雨・綺麗画像データセットに強く依存しているという限界に対処すること。
• 方向、スケール、厚さなどの物理的構造的要因をモデル化することで、雨筋の内在的生成メカニズムを解明すること。
• 雨パターンに関する主観的な事前仮定を必要としない、データ駆動型でエンドツーエンドのフレームワークを構築すること。
• 生成された雨パッチを活用して既存のベンチマークデータセットを拡張することで、雨除去性能を向上させること。

提案手法

• 方向、スケール、厚さなどの物理的属性を符号化する潜在変数を用いて、雨筋を表現する完全ベイズ生成モデルを構築する。
• これらの潜在変数の事後分布を畳み込みニューラルネットワーク（CNN）でパrameter化し、変分推論フレームワーク内での効率的推論を実現する。
• 雨層を生成器ネットワークを介して暗黙的な分布としてモデル化することで、従来のモデルベース手法で一般的な明示的パラメトリック仮定を回避する。
• すべてのパラメータをデータ駆動的に変分推論によって推論できるエンドツーエンドの学習が可能になる。
• 訓練された生成器から雨パッチを合成し、雨除去モデルのための多様で現実的なトレーニングペアを生成する。
• 人為的ラベルなしの教師なし環境でも、生成された新しい妥当な雨画像を自動的に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 雨筋の内在的物理的生成プロセスをどのようにモデル化すれば、現実的で多様な雨の生成が可能になるか？
• RQ2 CNNでパrameter化された事後分布を用いたデータ駆動型ベイズフレームワークは、手作業で設計された事前分布に依存せずに、潜在的な雨要因を効果的に推論できるか？
• RQ3 自動的に生成された雨パッチは、既存のディープラーニングベースの雨除去モデルの性能をどの程度向上できるか？
• RQ4 提案手法は、大規模で手動で収集された対応する雨・綺麗画像データセットへの依存度をどの程度低減できるか？
• RQ5 合成雨データを用いることで、雨除去ネットワークの一般化性能とロバスト性にどのような影響を与えるか？

主な発見

• 提案モデルは、構造的・多様性の面で現実の雨筋に非常に近い、非常に現実的な雨パッチを生成する。
• 生成された雨パッチは、ベンチマークデータセット上で最先端のディープラーニングモデルの雨除去性能を顕著に向上させる。
• 合成雨生成による効果的なデータ拡張により、大規模で手動で収集された対応データセットへの依存度が著しく低下する。
• 従来の固定されたパラメトリック仮定に依存する手法と比較して、暗黙的生成器モデルが優れた性能を示す。
• 変分推論フレームワークにより、エンドツーエンドの微分可能でスケーラブルな学習が可能となり、実用的導入を支援する。
• 実験的結果から、拡張データで訓練されたモデルは、元のデータセットのみで訓練されたモデルに比べて優れた性能を達成することが示された。