[論文レビュー] Shadow Removal via Shadow Image Decomposition

Hieu Lê, Dimitris Samaras|arXiv (Cornell University)|Aug 23, 2019

Image Enhancement Techniques参考文献 41被引用数 4

ひとこと要約

本稿では、物理的照明モデルを用いてシャドウ画像を分解することで、シャドウパラメータとマットを2つのネットワーク（SP-Net と M-Net）で推定する深層学習フレームワークを提案する。この分解を活用することで、ISTDデータセット上で最先端の性能を達成し、シャドウ領域のRMSEを13.3から7.4に低減した。モデルの最適化とデータ拡張の両方による改善が得られた。

ABSTRACT

We propose a novel deep learning method for shadow removal. Inspired by physical models of shadow formation, we use a linear illumination transformation to model the shadow effects in the image that allows the shadow image to be expressed as a combination of the shadow-free image, the shadow parameters, and a matte layer. We use two deep networks, namely SP-Net and M-Net, to predict the shadow parameters and the shadow matte respectively. This system allows us to remove the shadow effects on the images. We train and test our framework on the most challenging shadow removal dataset (ISTD). Compared to the state-of-the-art method, our model achieves a 40% error reduction in terms of root mean square error (RMSE) for the shadow area, reducing RMSE from 13.3 to 7.9. Moreover, we create an augmented ISTD dataset based on an image decomposition system by modifying the shadow parameters to generate new synthetic shadow images. Training our model on this new augmented ISTD dataset further lowers the RMSE on the shadow area to 7.4.

研究の動機と目的

• 単一画像における現実的なシャドウ除去の課題に取り組む。シャドウはコンピュータビジョンタスクの性能を低下させる。
• エンドツーエンドの深層学習手法がぼやけたまたはアーチファクトを含む出力を生成するという限界を、物理的照明モデルを組み込むことで克服する。
• ユーザーの介入なしに、シャドウパラメータとマットを自動的に推定する完全に教師ありの手法を開発する。
• パラメータの操作による合成シャドウ画像の生成を通じて、データ拡張によりモデルの汎化性能を向上させる。
• シャドウ除去のための挑戦的なISTDベンチマークデータセットで最先端の性能を達成する。

提案手法

• 各カラー通道ごとに線形照明変換を用いてシャドウの形成をモデル化する：$I^\text{darkened}_i = (I^\text{shadow-free}_i - b) \cdot w^{-1}$、ここで $w$ と $b$ はシャドウパラメータである。
• SP-Netと呼ばれる深層ニューラルネットワークを用い、入力のシャドウ画像からシャドウパラメータ $w$ と $b$ を予測する。
• M-Netと呼ばれる2番目の深層ネットワークを用い、シャドウマット $\alpha$ を予測する。$\alpha$ はシャドウ領域とリライト領域の画素単位ブレンドを制御する。
• 画像分解を用いてシャドウフリー画像を再構築する：$I^\text{shadow-free} = I^\text{shadow} \cdot \alpha + I^\text{darkened} \cdot (1 - \alpha)$、ここで $I^\text{darkened}$ は推定された $w$ と $b$ を用いてリライトされる。
• スケーリング要因 $w$ を変更することで合成シャドウ画像を生成する：$w_{\text{syn}} = w \times k$、$k \in \{0.8, 0.9, 1.1, 1.2\}$ として、拡張された訓練データを生成する。
• オリジナルのISTDデータセットに加え、拡張されたデータセットを用いてSP+M-Netシステム全体を訓練することで、汎化性能と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 簡略化された物理的照明モデルに基づく深層学習フレームワークは、エンドツーエンドの深層学習手法を上回るシャドウ除去の品質を達成できるか？
• RQ2 深層ネットワークを用いて完全に自動的かつエンドツーエンドの方法で、シャドウパラメータとマットをどれほど正確に予測できるか？
• RQ3 提案手法によるリアルな合成シャドウ画像の生成は、データ拡張としてどれほど効果的か？
• RQ4 パrameter化されたシャドウ編集によるデータ拡張は、汎化性能の向上とベンチマークデータセットにおける誤差低減に寄与するか？
• RQ5 パラメータ推定とマット予測を組み合わせることで、単一のコンポonentのみを用いる場合と比較して、シャドウ除去性能にどのような影響を与えるか？

主な発見

• 提案されたSP+M-Netフレームワークは、従来の最先端手法と比較して、シャドウ領域の平均二乗誤差（RMSE）を40％低減し、RMSEを13.3から7.9に低下させた。
• シャドウパラメータの変更による拡張されたISTDデータセットで訓練することで、シャドウ領域のRMSEはさらに7.4に低下し、ベースモデル比で6％の改善が得られた。
• SP-Net単体でも、シャドウ領域のRMSEが29％改善され（13.3から9.5に）、マット予測なしにパラメータ推定が有効であることを示した。
• 直接画素単位の予測を避けることで、高品質でアーチファクトのない結果が得られ、画像の詳細と色の忠実性が保持された。
• 提案されたデータ拡張戦略により、トレーニングセットが4倍に拡大（5320枚の合成画像）され、モデルのロバスト性が顕著に向上した。
• 定性的な比較では、本手法はGuoら、Yangら、Gongら、Wangらの先行研究と比較して、より現実的で一貫性のあるシャドウ除去結果を生成した。