[論文レビュー] DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using Unsupervised Domain-Classifier Guided Network

Yeying Jin, Aashish Sharma+1 more|arXiv (Cornell University)|Jul 21, 2022

Image Enhancement Techniques被引用数 9

ひとこと要約

本稿では、ドメイン分類器、物理に基づく色彩度、シャドウに強い特徴量、境界滑らかさ損失を統合した教師なし深層学習手法、DC-ShadowNetを提案する。この手法は、硬いシャドウと柔らかいシャドウの両方を効果的に処理でき、定量的・定性的な評価において最先端の手法を上回る性能を発揮する。さらに、テスト時学習を可能とすることで、さらなる性能向上が可能となる。

ABSTRACT

Shadow removal from a single image is generally still an open problem. Most existing learning-based methods use supervised learning and require a large number of paired images (shadow and corresponding non-shadow images) for training. A recent unsupervised method, Mask-ShadowGAN~\cite{Hu19}, addresses this limitation. However, it requires a binary mask to represent shadow regions, making it inapplicable to soft shadows. To address the problem, in this paper, we propose an unsupervised domain-classifier guided shadow removal network, DC-ShadowNet. Specifically, we propose to integrate a shadow/shadow-free domain classifier into a generator and its discriminator, enabling them to focus on shadow regions. To train our network, we introduce novel losses based on physics-based shadow-free chromaticity, shadow-robust perceptual features, and boundary smoothness. Moreover, we show that our unsupervised network can be used for test-time training that further improves the results. Our experiments show that all these novel components allow our method to handle soft shadows, and also to perform better on hard shadows both quantitatively and qualitatively than the existing state-of-the-art shadow removal methods. Our code is available at: \url{https://github.com/jinyeying/DC-ShadowNet-Hard-and-Soft-Shadow-Removal}.

研究の動機と目的

• 大規模なシャドウあり／なし画像ペアデータセットを必要とする従来の教師ありシャドウ除去手法の限界を解消すること。
• 二値のシャドウマスクに依存せずに、硬いシャドウと柔らかいシャドウの両方を処理できる教師なし手法の開発。
• 灰色や白色の表面や複雑なシャドウ境界におけるシャドウ除去のロバスト性の向上。
• 未ラベルのテスト画像を用いて、テスト時学習を可能とし、性能をさらに向上させること。
• GANフレームワークにドメイン分類器を統合し、生成器と判別器がシャドウ領域に焦点を当てるように誘導すること。

提案手法

• 生成器と判別器の両方に、シャドウ／シャドウなしのドメイン分類器を統合し、学習をシャドウ領域に集中させる。
• 対数色彩度空間におけるエントロピー最小化に基づく物理的根拠を持つシャドウなし色彩度損失を採用し、色彩の一貫性を強制する。
• 事前学習済みのVGG-16ネットワークから得られるシャドウに強い知覚的特徴量を用い、影の下でも構造的詳細を保持する。
• 境界滑らかさ損失を適用し、出力におけるシャドウ境界での自然な過渡的変化を保証する。
• 教師なし損失（色彩度、特徴量、滑らかさ）を活用し、教師データなしで学習を実施する。
• 未ラベルのテスト画像を用いて、同じ教師なし損失を用いてテスト時学習を可能とし、未観測画像の結果をさらに精錬する。

実験結果

リサーチクエスチョン

• RQ1 教師ありGANベースの手法が、ペairedデータを必要とせず、硬いシャドウと柔らかいシャドウの両方を効果的に除去できるか。
• RQ2 教師データが存在しない状況下で、ドメイン分類器の統合がどのようにシャドウ領域への注目と除去品質を向上させるか。
• RQ3 物理に基づく色彩度損失とシャドウに強い特徴量が、グレーまたはホワイトのような挑戦的な表面での性能向上にどの程度寄与するか。
• RQ4 テスト時学習が教師なし設定において、さらなる性能向上をもたらすか。
• RQ5 個々の構成要素（損失関数とドメイン分類器）が全体の性能にどの程度寄与しているか。

主な発見

• SRDデータセットにおいて、DC-ShadowNetは最小のRMSE（4.66）と最大のPSNR（31.31）を達成し、最先端の手法を上回った。
• LRSSデータセットでは、RMSE 3.48、PSNR 31.01を達成し、テスト時学習を適用するとRMSE 3.36、PSNR 31.31に向上した。
• アブレーションスタディにより、提案された損失や構成要素のいずれかを削除すると顕著な性能低下が生じ、それらの必要性が裏付けられた。
• 本手法は、二値マスクに依存するMask-ShadowGANが失敗する柔らかいシャドウを効果的に除去できた。
• 定性的な結果では、アーティファクトが少なく、特にシャドウ境界部や無彩色領域の表面回復が優れていることが確認された。
• テスト時学習により、PSNRが0.13、RMSEが0.12向上し、自己精錬の有効性が示された。