[論文レビュー] Syn2Real Transfer Learning for Image Deraining using Gaussian Processes

Rajeev Yasarla, Vishwanath A. Sindagi+1 more|arXiv (Cornell University)|Jun 10, 2020

Image Enhancement Techniques参考文献 32被引用数 4

ひとこと要約

本論文は、学習中にラベルなしの現実世界の雨の画像を活用できるガウス過程に基づく半教師あり学習フレームワークを提案する。この手法により、合成データにとどまらず、実世界の画像を活用することで一般化性能が向上し、完全教師あり学習に匹敵する性能を達成する。ラベルありおよびラベルなしデータの潜在的特徴量を統合的にモデル化するGPを用いて、偽正例ラベルを生成することで、わずか60%のラベル付きデータでも、既存のSOTA手法を上回る性能を実現し、実世界の除霧ベンチマークで優れた結果を示す。

ABSTRACT

Recent CNN-based methods for image deraining have achieved excellent performance in terms of reconstruction error as well as visual quality. However, these methods are limited in the sense that they can be trained only on fully labeled data. Due to various challenges in obtaining real world fully-labeled image deraining datasets, existing methods are trained only on synthetically generated data and hence, generalize poorly to real-world images. The use of real-world data in training image deraining networks is relatively less explored in the literature. We propose a Gaussian Process-based semi-supervised learning framework which enables the network in learning to derain using synthetic dataset while generalizing better using unlabeled real-world images. Through extensive experiments and ablations on several challenging datasets (such as Rain800, Rain200H and DDN-SIRR), we show that the proposed method, when trained on limited labeled data, achieves on-par performance with fully-labeled training. Additionally, we demonstrate that using unlabeled real-world images in the proposed GP-based framework results in superior performance as compared to existing methods. Code is available at: https://github.com/rajeevyasarla/Syn2Real

研究の動機と目的

• 既存のCNNベースの除霧モデルの性能を制限する、合成画像と実世界の雨の画像との間のドメインシフトを解消すること。
• ラベルなしの実世界の画像を効果的に活用し、実世界のラベル付きデータの不足を補うこと。
• パrametricな仮定（例：GMM）に依存しない、頑健な半教師あり学習フレームワークの開発。
• 限られたラベル付きデータに加え、ラベルなしの実世界データを組み合わせることで、完全教師あり学習と同等の性能を達成できることを示すこと。

提案手法

• 本手法は、ラベル付きの合成雨画像に対して、L1損失および知覚的損失を用いた深層CNNを用いる。
• ラベルなしの実世界画像については、ラベル付きおよびラベルなしの潜在的特徴量を同時にモデル化するガウス過程（GP）を用いて、潜在空間における偽正例ラベルを推定する。
• GPは反復的に訓練され、進化する特徴表現に基づいて、ラベルなしデータの偽ラベルを改善する。
• ネットワークの最適化と、ラベル付きおよびラベルなしの潜在ベクトルを用いたGP事前分布の更新を、交互に繰り返す。
• GMMベースの手法とは異なり、パrametricな仮定を避けるために非パラメトリックなGPを用いることで、事前に混合成分を定義する必要がなくなる。
• Rain800、Rain200H、DDN-SIRRデータセットにおける消去実験および比較実験を通じて、ラベルなしデータの有効性を検証し、一貫した性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの実世界の雨の画像のみを用いて、半教師あり学習フレームワークが画像除霧の一般化性能を効果的に向上させられるか？
• RQ2 複雑でマルチモーダルな雨の残差をモデル化する際、GPベースの偽ラベル戦略はGMMベースの手法と比べてどのように異なるか？
• RQ3 ラベル付きデータを60%に制限した場合、ラベルなしの実世界データを組み合わせることで、性能を維持または向上させられるか？
• RQ4 本手法は、既存のSOTAアプローチと比較して、合成画像と実世界の雨の画像との間のドメインシフトをより効果的に低減できるか？
• RQ5 GPカーネルの選択や正則化のハイパーパrameterに、本手法の性能がどれほど敏感か？

主な発見

• Rain800で60%のラベル付きデータ（およびラベルなしデータ）を用いた場合、PSNRは23.70 dBに達し、完全教師あり学習の23.74 dBと同等の性能を示した。
• Rain200Hでは、60%のラベル付きデータとラベルなしデータを用いた場合、PSNRは25.26 dBに達し、100%ラベル付きデータの25.27 dBとほぼ同等の性能を示した。
• ラベル付きデータを10%に制限した場合のPSNR低下（21.31 dB）を、ラベルなしデータを活用することで22.02 dBにまで低減し、データ分割にかかわらず一貫した性能向上を示した。
• 実世界データセットにおいて、SIRR [49] よりもPSNRおよびSSIMの両面で優れた性能を示し、優れた一般化性能を確認した。
• 消去実験により、特に初期学習段階で、GMMベースのアプローチと比較してGPベースの偽ラベル戦略がより頑健であることが確認された。
• DDN-SIRRの実世界ベンチマークにおいて、SOTA性能を達成し、実世界への適用における有効性を裏付けた。