[論文レビュー] Towards Ghost-free Shadow Removal via Dual Hierarchical Aggregation Network and Shadow Matting GAN

Xiaodong Cun, Chi‐Man Pun+1 more|arXiv (Cornell University)|Nov 20, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 21

ひとこと要約

本稿では、ゴーストアーティファクトのないシャドウ除去を実現するため、二重階層的アグリゲーションネットワーク（DHAN）とシャドウマッティング GAN（SMGAN）を提案する。DHAN は成長する拡張畳み込みと階層的特徴およびアテンションアグリゲーションを用い、シャドウ境界を保持する。一方、SMGAN はシャドウなし画像とマスクから現実的なシャドウ画像を合成し、トレーニングデータを拡張することで、最先端の手法よりも顔色の整合性と性能が著しく向上する。

ABSTRACT

Shadow removal is an essential task for scene understanding. Many studies consider only matching the image contents, which often causes two types of ghosts: color in-consistencies in shadow regions or artifacts on shadow boundaries. In this paper, we tackle these issues in two ways. First, to carefully learn the border artifacts-free image, we propose a novel network structure named the dual hierarchically aggregation network~(DHAN). It contains a series of growth dilated convolutions as the backbone without any down-samplings, and we hierarchically aggregate multi-context features for attention and prediction, respectively. Second, we argue that training on a limited dataset restricts the textural understanding of the network, which leads to the shadow region color in-consistencies. Currently, the largest dataset contains 2k+ shadow/shadow-free image pairs. However, it has only 0.1k+ unique scenes since many samples share exactly the same background with different shadow positions. Thus, we design a shadow matting generative adversarial network~(SMGAN) to synthesize realistic shadow mattings from a given shadow mask and shadow-free image. With the help of novel masks or scenes, we enhance the current datasets using synthesized shadow images. Experiments show that our DHAN can erase the shadows and produce high-quality ghost-free images. After training on the synthesized and real datasets, our network outperforms other state-of-the-art methods by a large margin. The code is available: http://github.com/vinthony/ghost-free-shadow-removal/

研究の動機と目的

• シャドウ除去におけるゴーストアーティファクト、特に色の不一致と境界アーティファクトを解消すること。
• 既存のシャドウ除去データセットにおけるシーン多様性の不足が色の整合性に悪影響を及える問題を克服すること。
• 合成シャドウ生成によるデータ拡張を用いて、頑健で一般化可能なシャドウ除去モデルを開発すること。
• 階層的特徴およびアテンションアグリゲーションを統合した一貫したネットワークアーキテクチャを用いて、シャドウ検出と除去の共同学習を実現すること。

提案手法

• ダウンサンプリングを行わない成長する拡張畳み込みをバックボーンとして用いる二重階層的アグリゲーションネットワーク（DHAN）を提案し、低レベルの詳細を保持する。
• マルチコンテキスト特徴の再利用を向上させ、境界の忠実度を向上させるために階層的特徴アグリゲーションおよび階層的アテンション機構を導入する。
• シャドウなし画像とマスクから現実的なシャドウマッティングを学習するシャドウマッティング GAN（SMGAN）を設計し、データ拡張を可能にする。
• 実際のペairedデータセット上で SMGAN をトレーニングし、多様なシーンとマスクを用いた新しいシャドウ画像を合成することで、トレーニングデータの分布を拡張する。
• 実データと合成データを統合して DHAN をエンドツーエンドでトレーニングし、一般化性能を向上させ、アーティファクトを低減する。
• アテンション機構を、正例シャドウマスクからのアテンション損失で監視し、正確なシャドウ領域への注目を保証する。

実験結果

リサーチクエスチョン

• RQ1 階層的特徴およびアテンションアグリゲーションを統合したディープネットワークアーキテクチャは、シャドウ除去におけるゴーストアーティファクトを効果的に低減できるか？
• RQ2 GAN を用いたマッティングネットワークから得られる合成シャドウデータの統合は、一般化性能と色の整合性をどのように向上させるか？
• RQ3 シャドウマッティング GAN は、自然なシーン分布を保持した高品質なシャドウマッティングをどの程度まで生成できるか？
• RQ4 統一されたアーキテクチャを用いたシャドウ検出と除去の共同学習は、分離的または単一タスクアプローチを上回る性能を示せるか？
• RQ5 実データ＋合成データでトレーニングすることで、SRD や SBU の未学習データセット上での性能が向上するか？

主な発見

• 提案された DHAN に二重階層的アグリゲーション（DLA）を適用した場合、SRD データセット上で RMSE が 5.67 に低下し、ベースラインの CAN（6.14）および LA バリエーション（5.98）を上回る。
• アブレーションスタディにより、階層的アテンションおよび特徴アグリゲーションがゴーストアーティファクト、特にシャドウ境界部で顕著に低減することが確認された。
• SMGAN は LPIPS 5.38、SSIM 91.67、PSNR 26.31 を達成する高品質なシャドウ画像を生成し、Mask-ShadowGAN や Pix2Pix を上回った。
• ISTD+S データセットで拡張されたデータでトレーニングした場合、SRD データセット上の RMSE は ISTD 僅かの状態（11.9）から 9.82 に低下し、一般化性能の向上が示された。
• SBU データセットでは、合成データでトレーニングしたモデルが、新規のシーンに対してもゴーストアーティファクトを伴わずシャドウを効果的に除去した。
• 視覚的比較では、本手法が色の整合性を保持しながらシャドウを効果的に除去し、特に大規模なシャドウ領域でアーティファクトを回避できることを示した。