[論文レビュー] Semi-supervised Transfer Learning for Image Rain Removal

Wei Wei, Deyu Meng+3 more|arXiv (Cornell University)|Jul 29, 2018

Image Enhancement Techniques被引用数 43

ひとこと要約

本論文は、監視なし実際の雨画像を監視付きの合成データ対と併用する半教師付き転移学習フレームワークを、単一画像の雨除去（SIRR）に導入し、残留雨をパラメトリック分布でモデル化し、CNNを用いたEMで最適化する。

ABSTRACT

Single image rain removal is a typical inverse problem in computer vision. The deep learning technique has been verified to be effective for this task and achieved state-of-the-art performance. However, previous deep learning methods need to pre-collect a large set of image pairs with/without synthesized rain for training, which tends to make the neural network be biased toward learning the specific patterns of the synthesized rain, while be less able to generalize to real test samples whose rain types differ from those in the training data. To this issue, this paper firstly proposes a semi-supervised learning paradigm toward this task. Different from traditional deep learning methods which only use supervised image pairs with/without synthesized rain, we further put real rainy images, without need of their clean ones, into the network training process. This is realized by elaborately formulating the residual between an input rainy image and its expected network output (clear image without rain) as a specific parametrized rain streaks distribution. The network is therefore trained to adapt real unsupervised diverse rain types through transferring from the supervised synthesized rain, and thus both the short-of-training-sample and bias-to-supervised-sample issues can be evidently alleviated. Experiments on synthetic and real data verify the superiority of our model compared to the state-of-the-arts.

研究の動機と目的

• 単一画像の雨除去（SIRR）におけるドメイン転送を動機づけ、合成雨データと実雨データのギャップを埋める。
• トレーニング中に実雨の非監視データを活用する半教師付きフレームワークを提案する。
• 残留雨をパラメトリック分布で定式化し、結合学習目的に組み込む。
• ネットワークと雨分布パラメータの両方を訓練するためのEMベースの最適化方式を開発する。

提案手法

• 合成雨-クリーン対の監視付き最小二乗損失を、パラメトリック雨分布を介した実雨画像の非監視MAP損失と結合する。
• 雨をガウス混合モデルとしてモデル化し、ゼロ平均ガウス分布を用いて多峰性の降雨パターンを捉える。
• 合成雨分布と実雨分布の間にKL発散制約を課し、ドメイン整合を促進する。
• 背景に総変分正則化を組み込み、残留ノイズを抑制し構造を保持する。
• 期待値最大化を用いて成分責任度を推定し、ネットワークとGMMパラメータを反復的に更新する。
• 監督付きと非監督の項の両方から逆伝播される勾配で、エンドツーエンド訓練にAdam最適化を採用する。

実験結果

リサーチクエスチョン

• RQ1 実雨の非監視画像を用いた半教師付き学習は、純粋な監視モデルより実雨への一般化を改善するか。
• RQ2 実雨データからの非監視学習を可能にするために、残留雨をどのように効果的にモデル化できるか。
• RQ3 パラメトリック分布を介して合成雨から実雨へ転送することは、SIRRにおけるドメインバイアスを低減するか。
• RQ4 監督付き損失と非監督損失を組み合わせることが、雨除去性能にどのような影響を与えるか。

主な発見

Dataset	Input	DSC [26]	LP [24]	JORDER [29]	CNN [10]	JBO [33]	DID-MDN [31]	Ours
Dense	17.95	19.00	19.27	18.75	19.90	18.87	18.60	21.60
Sparse	24.14	25.05	25.67	24.22	26.88	25.24	25.66	26.98

• 提案された半教師付きモデルは、完全監視ベースより合成雨から実雨パターンへの移行がより良い。
• 実雨残留をモデル化するために3成分GMMを用いると、除雨のための効果的な非監督学習信号が得られる。
• 密雨・稀雨シナリオを問わず、合成データ上でPSNRが最先端手法より高い。
• 実雨画像では、競合手法と比べて画像構造を保持しつつより多くの雨筋を除去する。
• EMベースの最適化は訓練中にネットワークパラメータとGMM雨分布の双方をうまく更新する。