[論文レビュー] Single Image Reflection Separation with Perceptual Losses

Xuaner Zhang, Ren Ng+1 more|arXiv (Cornell University)|Jun 14, 2018

Image Enhancement Techniques参考文献 23被引用数 14

ひとこと要約

本稿では、感知損失（特に事前学習された認識ネットワークからの特徴損失と対抗損失）と、画素レベルの層間独立性を強制するための新規除外損失を用いた、完全畳み込みネットワークを用いた単一画像の反射分離のための深層学習手法を提案する。この手法は、合成データおよび実世界データの両方において、PSNR、SSIM、およびユーザー評価で最先端技術を上回り、微調整なしにフレア除去やヒーリングにも一般化可能である。

ABSTRACT

We present an approach to separating reflection from a single image. The approach uses a fully convolutional network trained end-to-end with losses that exploit low-level and high-level image information. Our loss function includes two perceptual losses: a feature loss from a visual perception network, and an adversarial loss that encodes characteristics of images in the transmission layers. We also propose a novel exclusion loss that enforces pixel-level layer separation. We create a dataset of real-world images with reflection and corresponding ground-truth transmission layers for quantitative evaluation and model training. We validate our method through comprehensive quantitative experiments and show that our approach outperforms state-of-the-art reflection removal methods in PSNR, SSIM, and perceptual user study. We also extend our method to two other image enhancement tasks to demonstrate the generality of our approach.

研究の動機と目的

• 一意の解を得るための十分な制約が欠如しているため、一意でない単一画像の反射分離問題に対処すること。
• 感知監視を通じて低レベルおよび高レベルの画像統計を統合することで、反射除去の性能を向上させること。
• 勾配ドメインにおける透過層と反射層の間の独立性を強制する新しい除外損失を開発すること。
• 定量的評価およびモデル学習のための真値透過層を備えた実世界データセットを構築すること。
• 反射分離に学習したモデルが、フレア除去やヒーリングなどの他の層分離タスクに一般化可能かどうかを示すこと。

提案手法

• 入力画像1枚から反射層と透過層を予測するエンドツーエンドの完全畳み込みネットワークを学習する。
• 事前学習された認識ネットワーク（例：VGG）の活性化マップから計算される特徴損失を用い、高レベルの意味的整合性を監視する。
• 識別器ネットワークを用いた対抗損失を採用し、透過層の現実性と自然さを向上させる。
• 透過層と反射層の間の勾配相関を最小化する除外損失を導入し、画素レベルの分離を強制する。
• 組み合わせ損失関数を用いてモデルを学習する：$ \mathcal{L} = \lambda_1 L_{\text{feat}} + \lambda_2 L_{\text{adv}} + \lambda_3 L_{\text{excl}} + \lambda_4 L_1 $。
• 学習および評価のため、真値透過層を備えた1,000組の画像ペアを含む新規に収集した実世界データセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 複数のレベルの感知損失（特徴損失と対抗損失）を用いることで、低レベル損失のみに依存する手法よりも反射分離の性能が向上するか？
• RQ2 層間の勾配ドメインにおける独立性を強制する新しい除外損失が、画素レベルの分離品質を向上させるか？
• RQ3 本手法は、実世界の画像において、定量的および主観的評価で最先端手法を上回る性能を示すか？
• RQ4 反射分離に学習したモデルが、フレア除去やヒーリングなどの他の層分離タスクに一般化可能か？
• RQ5 高レベルの意味情報（例：物体認識）を組み込むことで、曖昧または複雑なシーンにおける反射除去の性能がどの程度向上するか？

主な発見

• 本手法は、実世界のテスト画像においてPSNR 21.30、SSIM 0.821を達成し、従来の最先端手法を上回った。
• 合成データでは、PSNR 22.63、SSIM 0.853を達成し、優れた一般化性能を示した。
• アブレーションスタディの結果、特徴損失、対抗損失、除外損失のいずれかを削除すると、特に細部や色再現性において顕著な性能低下が生じた。
• 除外損失は、透過層に残存する反射を効果的に低減し、クリーンな分離に寄与した。
• 対抗損失は、それらを含まないモデルに比べてアーティファクトや色劣化を低減し、主観的品質を向上させた。
• 微調整なしにフレア除去およびヒーリングタスクへも良好に一般化され、図7に示すように視覚的に妥当な結果が得られた。