[논문 리뷰] ShadowFormer: Global Context Helps Image Shadow Removal

Lanqing Guo, Siyu Huang외 3명|arXiv (Cornell University)|2023. 02. 03.

Image Enhancement Techniques인용 수 14

한 줄 요약

ShadowFormer는 Retinex에서 영감을 받은 그림자 모델과 Shadow-Interaction Module을 갖춘 경량 트랜스포머 기반 네트워크로, 비그림자 영역의 글로벌 컨텍스트를 활용하여 그림자 영역을 복구합니다. 파라미터 수가 현저히 적으면서 ISTD, ISTD+, SRD 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

Recent deep learning methods have achieved promising results in image shadow removal. However, most of the existing approaches focus on working locally within shadow and non-shadow regions, resulting in severe artifacts around the shadow boundaries as well as inconsistent illumination between shadow and non-shadow regions. It is still challenging for the deep shadow removal model to exploit the global contextual correlation between shadow and non-shadow regions. In this work, we first propose a Retinex-based shadow model, from which we derive a novel transformer-based network, dubbed ShandowFormer, to exploit non-shadow regions to help shadow region restoration. A multi-scale channel attention framework is employed to hierarchically capture the global information. Based on that, we propose a Shadow-Interaction Module (SIM) with Shadow-Interaction Attention (SIA) in the bottleneck stage to effectively model the context correlation between shadow and non-shadow regions. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to evaluate the proposed method. Our method achieves state-of-the-art performance by using up to 150X fewer model parameters.

연구 동기 및 목표

• 그림자 제거를 유도하기 위해 그림자 영역과 비그림자 영역 간의 글로벌 컨텍스트를 강조하는 Retinex 기반 저하 모델을 사용한다.
• 엔드-투-엔드 그림자 제거를 위한 경량 채널 어텐션 트랜스포머(ShadowFormer)를 개발한다.
• 교차 영역 컨텍스트를 모델링하기 위해 Shadow-Interaction Attention(SIA)을 갖춘 Shadow-Interaction Module(SIM)을 도입한다.
• 병목에서의 글로벌 컨텍스트를 로컬 구조 정보와 융합하여 조명 일관성을 보존하고 경계 인공물을 줄인다.
• ISTD, ISTD+, SRD에서 현저히 적은 파라미터 수로 최첨단 성능을 입증한다.

제안 방법

• 복구를 안내하고 왜곡을 정의하기 위해 Retinex 기반 그림자 모델을 채택한다.
• 글로벌 정보를 포착하기 위한 다중 스케일 아키텍처로 채널 어텐션 트랜스포머 인코더-디코더를 사용한다.
• Cross-region 컨텍스트를 Shadow-Interaction Attention(SIA)로 활용하기 위해 병목 단계에 Shadow-Interaction Module(SIM)을 삽입한다.
• 그림자와 비그림자 영역 간의 패치 단위 상관 맵을 적용하여 윈도 내 어텐션의 가중치를 재조정한다(SIA).
• 픽셀 단위 일관성을 위한 단일 L1 손실로 학습하고 두 가지 모델 스케일(Ours-Small, Ours-Large)을 탐색한다.

실험 결과

연구 질문

• RQ1 Retinex에서 영감을 얻은 형식이 복구를 위해 글로벌 그림자 맥락 신호를 드러내고 활용할 수 있는가?
• RQ2 Shadow-Interaction 메커니즘을 갖춘 경량 트랜스포머가 비그림자 영역을 효과적으로 활용하여 그림자 영역 복구를 향상시킬 수 있는가?
• RQ3 Shadow-Interaction Attention이 경계 인공물과 조명/색상 일관성에 어떤 영향을 미치는가?
• RQ4 정확도와 파라미터 효율성 측면에서 ShadowFormer가 ISTD, ISTD+, SRD의 최첨단 방법들과 어떻게 비교되는가?

주요 결과

• ShadowFormer는 ISTD, ISTD+, SRD 데이터셋에서 최첨단 성능을 달성한다.
• 모델은 경쟁 심층 모델들에 비해 최대 150배 적은 파라미터로 더 우수한 결과를 제공한다.
• Shadow-Interaction Module with Shadow-Interaction Attention effectively leverages non-shadow regions to restore shadow areas and maintain illumination consistency.
• A single-stage transformer with multi-scale channel attention under the Retinex-based framework yields trace-less reconstructions with reduced boundary artifacts.
• Ablation studies show CA transformers and SIM/SIA components are critical for artifact reduction and contextual grounding.