[論文レビュー] Auto-Exposure Fusion for Single-Image Shadow Removal

Lan Fu, Changqing Zhou+6 more|arXiv (Cornell University)|Mar 1, 2021

Image Enhancement Techniques参考文献 36被引用数 6

ひとこと要約

本稿では、露出融合問題として影除去を定式化する、新しい単一画像用の影除去手法であるAuto-Exposure Fusionを提案する。入力画像の複数の過露出バージョンを推定し、境界に配慮したRefineNetを備えた影に配慮したFusionNetを用いることで、痕跡のない自然な影なしの結果を適応的に統合する。ISTD、ISTD+、SRDデータセットにおいて、影領域で6.5のRMSEを達成し、最先端の性能を発揮する。

ABSTRACT

Shadow removal is still a challenging task due to its inherent background-dependent and spatial-variant properties, leading to unknown and diverse shadow patterns. Even powerful state-of-the-art deep neural networks could hardly recover traceless shadow-removed background. This paper proposes a new solution for this task by formulating it as an exposure fusion problem to address the challenges. Intuitively, we can first estimate multiple over-exposure images w.r.t. the input image to let the shadow regions in these images have the same color with shadow-free areas in the input image. Then, we fuse the original input with the over-exposure images to generate the final shadow-free counterpart. Nevertheless, the spatial-variant property of the shadow requires the fusion to be sufficiently `smart', that is, it should automatically select proper over-exposure pixels from different images to make the final output natural. To address this challenge, we propose the shadow-aware FusionNet that takes the shadow image as input to generate fusion weight maps across all the over-exposure images. Moreover, we propose the boundary-aware RefineNet to eliminate the remaining shadow trace further. We conduct extensive experiments on the ISTD, ISTD+, and SRD datasets to validate our method's effectiveness and show better performance in shadow regions and comparable performance in non-shadow regions over the state-of-the-art methods. We release the model and code in https://github.com/tsingqguo/exposure-fusion-shadow-removal.

研究の動機と目的

• 自然画像における影の除去の課題に取り組む。影は空間的に変化する色および照明の劣化を引き起こす。
• 背景依存的かつ空間的に変化する影パターンのため、従来の深層学習手法が痕跡のない背景回復に苦労するという限界を克服する。
• 複数の過露出画像の柔軟で画素単位の統合を可能にする手法を開発し、正確な色および照明の一貫性を保ったまま影領域を回復する。
• 境界に配慮した精緻化ネットワークを用いて、影の縁（ペンブレーション領域）において特に残存する影の痕跡を除去することで、統合出力を精緻化する。
• 非影領域でも高品質な結果を維持しつつ、影領域で最先端の性能を達成する。

提案手法

• まず、入力の影のある画像に対して、異なる露出レベルを適用することで複数の過露出画像を推定し、影領域を強調する。
• 各過露出画像間で画素単位の統合重みマップを生成するための影に配慮したFusionNetを提案。これにより、各空間的位置に対し最適な画素を選択的に適応的に選択可能となる。
• FusionNetは、影の文脈に基づいて動的に重みを割り当てる学習可能なカーネルベースの注釈機構を用い、自然な統合を保証する。
• 境界に配慮したRefineNetを導入し、新規の境界損失関数を活用することで、特にペンブレーション領域における残存影の痕跡をさらに低減する。
• 境界損失関数 $\mathcal{L}_{\text{bd}}$ は、非影領域を保存しつつ、影領域における真の影なしコンテンツの正確な回復を促進するように設計されている。
• 構造的および視覚的忠実度を最適化するため、L1損失、知覚的損失、境界損失の組み合わせを用いて、エンド・トゥ・エンドで全体フレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 複数の過露出統合は、単一露出または物理モデルに基づく再照明と比較して、より柔軟で正確な結果を提供できるか？
• RQ2 深層ネットワークは、複数の過露出画像をどのように知的に統合し、影領域におけるコンテンツおよび色の一貫性を保てるか？
• RQ3 境界に配慮した精緻化ネットワークは、ペンブレーション領域における残存影の痕跡をどの程度低減できるか？
• RQ4 提案手法は、特に痕跡のない背景回復という観点から、最先端の手法と比較して優れた性能を発揮するか？
• RQ5 過露出画像の数が、最終的な統合品質および空間的に変化する影パターンへの耐性にどのように影響するか？

主な発見

• 提案手法は、ISTD+データセットにおいて影領域でRMSE 6.5を達成し、ペンブレーション領域で7.06 RMSEを記録する最先端手法SP+M-Netを上回った。
• Fusion+RefineNetモデルはFusion-N5と比較してRMSEを0.3低下させ、境界に配慮したRefineNetの残存痕跡除去効果を実証した。
• 境界損失 $\mathcal{L}_{\text{bd}}$ の追加により、さらに性能が向上し、ISTD+において影領域でRMSE 6.5、全体でRMSE 4.2を達成した。
• 影領域における真の露出変動が大きい場合、単一過露出（N=1）と比較して、複数過露出（N=5）アプローチが顕著な性能優位性を示した。
• 非影領域でもRMSE 3.8の同等の性能を維持しながら、影領域での結果が著しく向上したため、本手法の頑健性と一般化能力が示された。
• 除去実験の結果、複数過露出（N=5）が最良の性能（影領域でRMSE 6.9）を発揮し、境界損失が痕跡のない結果を達成するために不可欠であることが確認された。