[論文レビュー] SpA-Former: Transformer image shadow detection and removal via spatial attention

Xiao Zhang, Chao Chen Gu+1 more|ArXiv.org|Jun 22, 2022

Video Surveillance and Tracking Methods被引用数 15

ひとこと要約

SpA-Former は、空間的アテンションとフーリエ変換残差ブロックを活用して長距離依存関係を捉え、低周波数および高周波数の詳細を保持する、1段階でエンド・ト・エンドの変換器ベースのネットワークを提案する。これは標準的なGPUハードウェアで学習可能であり、ISTDデータセット上でPSNR 33.51、RMSE 6.86という最先端の性能を達成している。

ABSTRACT

In this paper, we propose an end-to-end SpA-Former to recover a shadow-free image from a single shaded image. Unlike traditional methods that require two steps for shadow detection and then shadow removal, the SpA-Former unifies these steps into one, which is a one-stage network capable of directly learning the mapping function between shadows and no shadows, it does not require a separate shadow detection. Thus, SpA-former is adaptable to real image de-shadowing for shadows projected on different semantic regions. SpA-Former consists of transformer layer and a series of joint Fourier transform residual blocks and two-wheel joint spatial attention. The network in this paper is able to handle the task while achieving a very fast processing efficiency. Our code is relased on https://github.com/zhangbaijin/SpA-Former-shadow-removal

研究の動機と目的

• 2段階のシャドウ除去手法が、分離された検出と除去のステップを必要とし、計算コストが高く、多様な意味的領域に適応しにくいという限界を是正すること。
• アーティファクト、照明の一貫性の欠如、CNNによる長距離空間的依存関係の不十分なモデリングといったシャドウ除去の課題を克服すること。
• シャドウ検出と除去を1つの効率的で1段階のネットワークに統合し、影のある画像から影のない画像への直接的なマッピングを学習すること。
• 空間的アテンションとフーリエ変換残差ブロックを統合することで、局所的詳細の保持と長距離コンテキストのモデリングを向上させ、性能を向上させること。

提案手法

• ネットワークは、画像全体の長距離依存関係をモデル化するため、自己アテンション機構を備えた変換器ベースのエンコーダ・デコーダアーキテクチャを採用している。
• 2ホイール共同空間的アテンションモジュールを導入し、二重パスのアテンション学習により空間的に関連する領域に注目することで、特徴表現を強化している。
• 空間特徴を周波数ドメインに変換して残差学習を実現する、新規のフーリエ変換残差（FTR）ブロックを設計した。
• 後処理を必要とせず、エンド・ト・エンドで学習可能であり、1枚の入力画像から直接影のない画像を予測できる。
• 構造的および意味的忠実度を保つために、L1損失と知覚的損失の組み合わせを用いてモデルを学習している。

実験結果

リサーチクエスチョン

• RQ1 分離された検出または精練ステップを必要とせず、1段階のディープラーニングフレームワークが、シャドウ検出と除去を効果的に統合できるか。
• RQ2 空間的アテンションとフーリエ残差ブロックを統合することで、標準的なCNNと比較してシャドウ除去性能がどのように向上するか。
• RQ3 変換器ベースのアーキテクチャが、より良い再構成品質を得るために、影のある画像における長距離依存関係をどの程度うまくモデリングできるか。
• RQ4 提案手法は、消費者向けGPU上で高速な推論速度を維持しながら、最先端の性能を達成できるか。

主な発見

• SpA-Former は ISTD データセットで PSNR 33.51 を達成し、DSC や DHAN や SID といった先行手法を上回った。
• RMSE が 6.86 であり、ベースライン（7.87）と比較して顕著に低く、ピクセル単位の再構成精度が向上したことを示している。
• 変換器、FTR ブロック、2ホイール空間的アテンションの組み合わせが最高の性能を発揮し、ベースライン比でPSNRが2.5%向上した。
• アブレーションスタディにより、FTR ブロックと空間的アテンションの両方が性能向上に顕著な寄与をしていることが確認され、フルモデルは影領域で最高の SSIM（0.982）を達成した。
• ネットワークは1枚の 1080Ti GPU でデプロイ可能であり、実世界の応用において高い効率性と低いハードウェア障壁を示している。