[論文レビュー] Self-Supervised Shadow Removal

Florin-Alexandru Vasluianu, Andrés Romero+2 more|arXiv (Cornell University)|Oct 22, 2020

Image Enhancement Techniques参考文献 38被引用数 8

ひとこと要約

本稿では、ペアデータを必要とせず、サイクル整合性とGANを用いて影の除去と付加を同時に学習する自己教師付き単一画像影除去手法を提案する。ISTDおよびUSRデータセットにおいて最先端の性能を達成し、画素単位の忠実度（RMSE、PSNR）と知覚的品質（LPIPS）の両面で先行手法を上回る。

ABSTRACT

Shadow removal is an important computer vision task aiming at the detection and successful removal of the shadow produced by an occluded light source and a photo-realistic restoration of the image contents. Decades of re-search produced a multitude of hand-crafted restoration techniques and, more recently, learned solutions from shad-owed and shadow-free training image pairs. In this work,we propose an unsupervised single image shadow removal solution via self-supervised learning by using a conditioned mask. In contrast to existing literature, we do not require paired shadowed and shadow-free images, instead we rely on self-supervision and jointly learn deep models to remove and add shadows to images. We validate our approach on the recently introduced ISTD and USR datasets. We largely improve quantitatively and qualitatively over the compared methods and set a new state-of-the-art performance in single image shadow removal.

研究の動機と目的

• ペアデータ（影あり・影なし）を必要としない単一画像影除去の課題に対処すること。
• 高価なペアデータに依存し、アーチファクトやぼやけが生じる教師あり手法の限界を克服すること。
• 条件付きマスクを用いて自己教師学習を実現し、影の除去と付加を同時に学習可能にする。
• 画素単位の損失に依存するのを減らし、知覚的およびサイクル整合性の監視に焦点を当てることで一般化性能を向上させること。
• ベンチマークデータセットにおいて、定量的指標と視覚的品質の両面で最先端の性能を達成すること。

提案手法

• CycleGANにインspiredされたサイクル整合性GANフレームワークを用い、ペアデータなしで影ありと影なしのドメイン間の画像変換を学習する。
• 訓練中に条件付きマスクを導入し、影あり入力から元の画像を再構築するのをネットワークにガイドする。
• 影除去用（G_s）と影付加用（G_a）の2つの生成器を訓練し、サイクル整合性により恒等写像を強制する。
• 深層特徴に基づく知覚的損失を採用し、テクスチャーや色の忠実度を保ち、ぼやけやアーチファクトを低減する。
• 訓練中に多様な影の形状と位置を動的にサンプリングするための動的マスクバッファを導入し、一般化性能を向上させる。
• 強力なL1画素単位損失を知覚的損失およびサイクル整合性損失に置き換えることで、照明や意味的変化に対してより頑健な性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 サイクル整合性とGANを用いた自己教師学習は、ペアデータを一切不要とし、最先端の影除去を達成できるか？
• RQ2 影の除去と付加の同時学習は、モデルの一般化性能を向上させ、アーチファクトを低減するか？
• RQ3 画素単位損失を知覚的損失およびサイクル整合性損失に置き換えることで、視覚的品質と忠実度にどのような影響を与えるか？
• RQ4 動的にサンプリングされた影マスクの使用は、モデルの性能と頑健性にどのような影響を与えるか？
• RQ5 影形成の多様性に欠けるデータセットにおいて、ペアデータなし学習がペアデータ学習を上回るか？

主な発見

• ペア学習条件下で、ISTDデータセットにおいてテストRMSEが4.07、PSNRが38.22を達成し、先行手法を上回った。
• より挑戦的なISTD+データセットでは、ペアバージョンがRMSE 2.77、PSNR 42.05を達成し、新たな最先端性能を樹立した。
• 非ペアバージョンはISTDでRMSE 4.94、PSNR 34.71を達成し、非ペア最先端手法であるMask Shadow GANを顕著に上回った。
• 知覚的誤差（LPIPS）を顕著に低減し、優れた視覚的リアリズムとテクスチャーの保持を示した。
• 非ペア学習バージョンは、特に照明やテクスチャーの変動が激しい複雑なシーンにおいて、ペア学習バージョンよりも一般化性能が優れていた。
• 誤差ヒートマップから、本手法は影領域での残差を最小限に抑え、高コントラスト領域でもアーチファクトを発生させないことが確認された。これは先行手法とは対照的であった。