[論文レビュー] RIS-GAN: Explore Residual and Illumination with Generative Adversarial Networks for Shadow Removal

Ling Zhang, Chengjiang Long+2 more|arXiv (Cornell University)|Nov 20, 2019

Image Enhancement Techniques参考文献 30被引用数 14

ひとこと要約

本稿では、影除去のための新しいGANベースのフレームワーク、RIS-GANを提案する。このフレームワークは、残差と照度特徴を同時に探索することで、粗いから細かい段階への精練プロセスにおいて敵対的学習とクロス損失を用い、特別な影に特化したコンponentsを用いずに、SRDおよびISTDベンチマークで最先端の性能を達成する。

ABSTRACT

Residual images and illumination estimation have been proved very helpful in image enhancement. In this paper, we propose a general and novel framework RIS-GAN which explores residual and illumination with Generative Adversarial Networks for shadow removal. Combined with the coarse shadow-removal image, the estimated negative residual images and inverse illumination maps can be used to generate indirect shadow-removal images to refine the coarse shadow-removal result to the fine shadow-free image in a coarse-to-fine fashion. Three discriminators are designed to distinguish whether the predicted negative residual images, shadow-removal images, and the inverse illumination maps are real or fake jointly compared with the corresponding ground-truth information. To our best knowledge, we are the first one to explore residual and illumination for shadow removal. We evaluate our proposed method on two benchmark datasets, i.e., SRD and ISTD, and the extensive experiments demonstrate that our proposed method achieves the superior performance to state-of-the-arts, although we have no particular shadow-aware components designed in our generators.

研究の動機と目的

• 照明の変化やテクスチャのばらつきによって画像品質が低下する複雑なシーンにおける影除去の課題に対処すること。
• 残差と照度特徴の相補的な役割が影除去性能の向上に与える影響を調査すること。
• 特別な影に特化したコンponentsに依存せずに、残差と照度モデリングを統合した汎用的でエンドツーエンドのフレームワークを構築すること。
• 複数の補完的入力を用いた粗いから細かい段階への精練戦略により、影除去の品質を向上させること。

提案手法

• フレームワークは4つのエンコーダ・デコーダジェネレータを採用する：負の残差画像、中間の影除去画像、逆照度マップ、および精錬済みの影除去画像のためのもの。
• 負の残差画像は、入力の影画像との要素ごとの加算によって生成され、間接的に影のない領域を回復する。
• 逆照度マップはリチナスモデルに基づいて推定され、影領域の検出と、要素ごとの乗算による間接的な影除去を可能にする。
• 精錬ジェネレータは、粗い影除去出力に加え、残差ブランチおよび照度ブランチからの間接的結果を統合し、高品質な精錬を実現する。
• 共通のアーキテクチャを共有する3つの識別器を共同で学習させ、負の残差、影除去画像、逆照度マップの出力が本物か偽物かを区別する。
• 共同識別器とクロス損失関数により、3つの出力間の整合性が強制され、正解データと整合するよう保証される。

実験結果

リサーチクエスチョン

• RQ1 残差と照度特徴の共同モデリングは、標準的なGANベースの手法を上回る影除去性能を実現できるか？
• RQ2 残差と照度推定からの間接的影除去結果を組み込むことで、最終出力の品質がどのように向上するか？
• RQ3 敵対的学習とクロス損失が、現実的で一貫性のある影除去結果を保証するために果たす貢献は何か？
• RQ4 特別な影に特化したコンponentsを備えない汎用フレームワークは、専用の最先端手法を上回ることができるか？

主な発見

• RIS-GANはSRDおよびISTDベンチマークの両方で最高の性能を達成し、SRDではRMSEが8.22、ISTDでは8.99を記録し、すべてのアブレーションバリアントを上回る。
• アブレーションスタディにより、敵対的損失とクロス損失の両方が不可欠であることが確認され、いずれかを削除すると顕著な性能低下が生じる。
• 負の残差と逆照度マップの組み合わせは補完的情報を提供し、影除去領域における詳細回復と現実性の向上に寄与する。
• 可視化結果から、フレームワークは負の残差と逆照度マップから正確な影検出マスクを生成できていることが示された。
• フレーム単位での処理による動画の影除去は、本手法の潜在的可能性を示しているが、時間的整合性は依然として課題である。
• このフレームワークは汎用的であり、雨除去、ヒーディング除去、インテンスイマージュ分解などの他の画像修復タスクへも応用可能である。