[論文レビュー] Semi-Supervised Image Deraining using Gaussian Processes

Rajeev Yasarla, Vishwanath A. Sindagi+1 more|arXiv (Cornell University)|Sep 25, 2020

Image Enhancement Techniques参考文献 56被引用数 5

ひとこと要約

本論文は、合成データに加えて未ラベルの現実世界の画像を活用することで一般化性能を向上させる、ガウス過程に基づく半教師付き学習フレームワークを提案する。未ラベルのデータの潜在空間特徴をGPsでモデル化し、偽正例ラベルを生成することで、合成データでの完全教師あり学習や先行の半教師付き手法よりも優れた性能を達成する。

ABSTRACT

Recent CNN-based methods for image deraining have achieved excellent performance in terms of reconstruction error as well as visual quality. However, these methods are limited in the sense that they can be trained only on fully labeled data. Due to various challenges in obtaining real world fully-labeled image deraining datasets, existing methods are trained only on synthetically generated data and hence, generalize poorly to real-world images. The use of real-world data in training image deraining networks is relatively less explored in the literature. We propose a Gaussian Process-based semi-supervised learning framework which enables the network in learning to derain using synthetic dataset while generalizing better using unlabeled real-world images. More specifically, we model the latent space vectors of unlabeled data using Gaussian Processes, which is then used to compute pseudo-ground-truth for supervising the network on unlabeled data. Through extensive experiments and ablations on several challenging datasets (such as Rain800, Rain200L and DDN-SIRR), we show that the proposed method is able to effectively leverage unlabeled data thereby resulting in significantly better performance as compared to labeled-only training. Additionally, we demonstrate that using unlabeled real-world images in the proposed GP-based framework results

研究の動機と目的

• 合成データのみで完全にラベル付けされたデータで訓練されたCNNベースのレイン除去モデルの一般化性能の低さを是正すること。
• 未ラベルの現実世界のデータを効果的に活用することで、現実世界の雨の画像における性能を向上させること。
• 残留項モデリングにパラメトリックモデル（例：GMM）に依存する従来の半教師付き手法の限界を克服すること。
• 潜在空間におけるガウス過程を用いた非パラメトリックでロバストな偽正例ラベル生成の代替手法を開発すること。
• 最小限のラベル付きデータと豊富な未ラベルの現実世界の画像を用いて、クロスドメインのレイン除去ベンチマークで最先端の性能を示すこと。

提案手法

• 本手法は、ラベル付き合成データに対して標準的なL1損失および知覚的損失を用いて訓練するベースのCNNを用いる。
• 未ラベルの現実世界の画像に対しては、潜在特徴表現を抽出し、それらをガウス過程（GPs）で同時にモデリングする。
• GPsモデルは、潜在空間におけるラベル付きデータとの類似性に基づき、未ラベル画像のための偽正例出力を予測する。
• 偽正例ラベルの予測値を訓練時の監督信号として用い、ラベル付き損失と未ラベル損失のバランスをとる重み付き損失項（$\lambda_{\text{unsup}}$）を導入する。
• GPsのハイパーパrameterを更新し、再評価することで、予測の整合性を向上させる反復的フレームワークを採用する。
• 非パラメトリックなGPsアプローチにより、残留項の分布に関する仮定を回避し、混合成分の選択に対する感受性を排除する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックなGPsベースの手法は、画像レイン除去における未ラベルの現実世界の雨の画像に対して信頼性の高い偽正例ラベルを効果的に生成できるか？
• RQ2 潜在空間におけるGPsモデリングにより未ラベルの現実世界データを統合することで、合成データでのみ学習する場合よりも一般化性能が向上するか？
• RQ3 提案手法のGPsベースの半教師付きフレームワークは、既存のGMMベースの半教師付き手法と比較して性能およびロバスト性において優れているか？
• RQ4 カーネルタイプ、近傍数、損失重みといったハイパーパrameterのうち、GPsベースのレイン除去フレームワークの性能に最も顕著に影響を与えるのはどれか？
• RQ5 本手法はドメインをまたいで一般化可能か。例えば、合成データで学習し、多様な現実世界のデータセットでテストした場合に有効か？

主な発見

• 本手法は、DIDMDN（ラベル付き）とDDN（未ラベル）を用いて学習した場合、DDNデータセットでPSNR 27.47 dB、SSIM 0.853を達成し、ベースラインおよび先行の半教師付き手法を上回る性能を示した。
• 定性的な結果では、目立つ雨のストライプが減少し、Syn2Real++や他のベースラインと比較して、よりクリアでシャープなレイン除去画像が得られた。
• GPsモデリングに線形カーネルを用いることで、より複雑なカーネル（SE、RQ）と同等の性能が得られ、シンプルさと計算コストの低さという利点も兼ね備えた。
• GPs推論における最適な近傍数は$N_n = 32$であり、PSNRが最大に達した。$N_n = 16$から$64$の範囲では性能が安定していた。
• 最適な未ラベル損失重みは$\lambda_{\text{unsup}} = 1.5 \times 10^{-3}$であり、ラベル付きと未ラベルの損失のバランスを効果的にとれた。
• 本手法はオラクル（未ラベルデータで完全に教師あり学習された場合）に非常に近い性能を達成し、クロスデータセット評価において強力な一般化能力を示した。