[論文レビュー] Semi-supervised CNN for Single Image Rain Removal.

Wei Wei, Deyu Meng+2 more|arXiv (Cornell University)|Jul 29, 2018

Image Enhancement Techniques参考文献 26被引用数 3

ひとこと要約

この論文では、教師ありの雨・綺麗画像ペアと教師なしの雨画像を訓練中に活用する半教師付き畳み込みニューラルネットワーク（CNN）を提案する。入力の雨画像とネットワーク出力の間の残差をピクセル単位の混合ガウス分布（Mixture of Gaussians, MoG）としてモデル化することで、教師ありと教師なしの損失を組み合わせ、限られた綺麗画像ペアに依存することを減らし、未学習の雨の種類への一般化性能を向上させる。

ABSTRACT

Single image rain removal is a typical inverse problem in computer vision. The deep learning technique has been verified to be effective to this task and achieved state-of-the-art performance. However, the method needs to pre-collect a large set of image pairs with/without rains for training, which not only makes the method laborsome to be practically implemented, but also tends to make the trained network bias to the training samples while less generalized to test samples with unseen rain types in training. To this issue, this paper firstly proposes a semisupervised learning paradigm to this task. Different from traditional deep learning methods which use only supervised image pairs with/without rains, we put the real rainy images, without need of their clean ones, into the network training process as well. This is realized by elaborately formulating the residual between an input rainy image and its expected network output (clear image without rains) as a concise patch-wised Mixture of Gaussians distribution. The entire objective function for training network is thus the combination of the supervised data loss (least square loss between input clear image and the network output) and the unsupervised data loss. In this way, all such unsupervised rainy images, which is much easier to collect than supervised ones, can be rationally fed into the network training process, and thus both the short-of-training-sample and bias-to-supervised-sample issues can be evidently alleviated. Experiments implemented on synthetic and real data experiments verify the superiority of our model as compared to the state-of-the-arts.

研究の動機と目的

• 単一画像の雨除去における深層学習モデルの学習に必要な雨・綺麗画像ペアデータセットの限られた可用性に対処する。
• 教師あり学習データに含まれる特定の雨の種類に偏ったモデルバイアスを、訓練中に教師なしの雨画像を組み込むことで低減する。
• 対応する綺麗画像が不要な実際の雨画像の豊富なデータを活用することで、未学習の雨のパターンへの一般化性能を向上させる。
• 人為的ラベルが最小限のデータで性能を向上させる、教師ありと教師なし学習を統合した訓練パラダイムを開発する。

提案手法

• 入力の雨画像とネットワークの予測された綺麗画像出力との間の残差を、ピクセル単位の混合ガウス分布（MoG）として定式化する。
• 教師なしデータ損失を、MoG分布に基づいて導入し、対応する綺麗画像が存在しない教師なし雨画像で訓練可能にする。
• 予測値と真値の綺麗画像間の最小二乗損失（教師あり損失）と、教師なし損失を組み合わせ、ネットワークをエンドツーエンドで訓練する。
• MoGモデルを用いて、入力雨画像が与えられたもとでのネットワーク出力の尤度を推定し、教師なしデータからの自己教師付き学習を可能にする。
• 教師ありと教師なしの両成分を同時に最適化するジョイント目的関数を用いてCNNを訓練する。
• MoGの統計的性質を活用し、ペアの綺麗ラベルが存在しない状況でも、ネットワークが綺麗画像の表現を学習できるように誘導する。

実験結果

リサーチクエスチョン

• RQ1 対応する綺麗画像が不要な状況でも、教師なしの雨画像を雨除去ネットワークの訓練に効果的に活用できるか。
• RQ2 ピクセル単位の混合ガウス分布を用いた教師なし学習を組み込むことで、未学習の雨の種類へのモデルの一般化性能が向上するか。
• RQ3 提案された半教師付きアプローチが、大規模なラベル付き雨・綺麗画像ペアに依存する程度はどの程度低減されるか。
• RQ4 教師ありと教師なし損失の共同最適化が、合成データおよび実世界の雨除去ベンチマークにおける性能にどのように影響するか。

主な発見

• 提案された半教師付き手法は、合成および実際の雨画像データセットの両方で、最先端の手法よりも優れた性能を達成した。
• 訓練中に多様な教師なし雨画像を組み込むことで、未学習の雨の種類への一般化性能が向上した。
• 教師なし損失部が、真値の綺麗画像が存在しない状況でも、ネットワークが意味のある綺麗画像表現を学習するのを効果的に誘導した。
• 大規模なラベル付き雨・綺麗画像ペアの必要性が低減されたため、実世界への展開に実用的になった。
• 実験により、教師ありと教師なし損失の共同訓練が、より強固で正確な雨除去結果をもたらすことが示された。
• 残差に混合ガウス分布を用いることで、自己教師付き学習が効果的に実現され、実世界のテスト画像におけるモデル性能が向上した。