[論文レビュー] ARGAN: Attentive Recurrent Generative Adversarial Network for Shadow Detection and Removal

Bin Ding, Chengjiang Long+2 more|arXiv (Cornell University)|Aug 4, 2019

Video Surveillance and Tracking Methods参考文献 54被引用数 25

ひとこと要約

本稿では、段階的でプログレッシブなプロセスを経て、アテンションマップとリーマン学習を用いて影の検出と除去を refined する、注意メカニズムを備えた再帰的生成的敵対ネットワークである ARGAN を提案する。4つの公的データセットにおいて最先端の性能を達成し、特にテクスチャの細部を保持し、現実的な影なし画像を生成する点で優れている。未ラベルデータを用いた半教師あり学習によりさらなる向上が達成された。

ABSTRACT

In this paper we propose an attentive recurrent generative adversarial network (ARGAN) to detect and remove shadows in an image. The generator consists of multiple progressive steps. At each step a shadow attention detector is firstly exploited to generate an attention map which specifies shadow regions in the input image.Given the attention map, a negative residual by a shadow remover encoder will recover a shadow-lighter or even a shadow-free image. A discriminator is designed to classify whether the output image in the last progressive step is real or fake. Moreover, ARGAN is suitable to be trained with a semi-supervised strategy to make full use of sufficient unsupervised data. The experiments on four public datasets have demonstrated that our ARGAN is robust to detect both simple and complex shadows and to produce more realistic shadow removal results. It outperforms the state-of-the-art methods, especially in detail of recovering shadow areas.

研究の動機と目的

• 複雑な現実世界の画像における影の検出と除去のための頑健な手法を開発すること。
• 複雑なシーンに不適切な剛性のある事前知識に依存する従来の手法の限界を克服すること。
• 大量の未ラベル付き影画像を活用した半教師あり学習により、深層学習ベースの影除去におけるデータ不足問題を解決すること。
• 特に細部の質と色の忠実性を保つことで、影除去結果の質と現実性を向上させること。
• 注意メカニズムを備えた再帰的生成器アーキテクチャにより、粗いものから細かいものへの段階的精錬を可能にすること。

提案手法

• 生成器は、粗いものから細かいものへの段階的プロセスを経て、影の検出と除去を精錬する。
• 各ステップで、入力画像内の影領域を強調するアテンションマップを生成する影アテンション検出器が動作する。
• 影除去エンコーダは、アテンションマップと前回の出力を用いて、影なしまたは影が薄い画像を回復するための負の残差を生成する。
• 長短期記憶（LSTM）ユニットを統合し、ステップ間で詳細情報を保持・伝達することで、検出と回復の精度を向上させる。
• 判別器は、実際の影なし画像と生成された画像を区別するように訓練され、生成の現実性を向上させる敵対的学習を可能にする。
• 半教師あり学習戦略により、大規模な未ラベル付き影画像を含めた学習が可能となり、汎化性と頑健性が向上する。

実験結果

リサーチクエスチョン

• RQ1 単一ステップ手法と比較して、段階的かつ再帰的な生成器アーキテクチャは、影の検出と除去の精度を向上させることができるか？
• RQ2 アテンションマップとリーマン学習の統合は、影除去結果の品質をどのように向上させるか？
• RQ3 半教師あり学習により未ラベル付き影画像を統合することで、モデルの汎化性と性能はどの程度向上するか？
• RQ4 生成器にLSTMを用いることで、影領域におけるテクスチャの細部と色の一貫性はどのように影響を受けるか？
• RQ5 本手法は、従来の最先端手法と比較して、複雑な影パターンを有するシーンをより効果的に処理できるか？

主な発見

• ARGAN は 4 つの公的データセットすべてで最高の性能を達成し、ISTD データセットにおける非影領域の影除去で 6.65 の RMSE を記録し、2 番目の手法（7.21）を上回った。
• ISTD データセットにおいて、ARGAN+SS（半教師ありバージョン）は画像全体で 5.89 の RMSE を達成し、ARGAN の 6.68 RMSE より顕著に向上した。
• アブレーションスタディの結果、LSTM レイヤーの削除により性能が低下し、ISTD で 7.57 の RMSE を記録した。これは、LSTM が細部と現実性を維持するために不可欠であることを示している。
• 可視化結果から、ARGAN は、DeshadowNet や ST-CGAN と同様に、影ではないが暗い領域を過剰に強調することを避けている。
• 複雑なシーンにおいて、ARGAN は影領域のテクスチャの細部を効果的に保持し、周囲環境との一貫性ある照明を確保した。
• 最適な段階的ステップ数（N=3）は、性能と複雑さのバランスをとるのに適しており、ISTD における RMSE は N=1 の 7.35 から N=4 の 6.68 に低下した。