[논문 리뷰] CRFormer: A Cross-Region Transformer for Shadow Removal

Jin Wan, Yin Hui외 4명|arXiv (Cornell University)|2022. 07. 04.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

CRFormer는 피처 전달을 위해 단방향, 영역 인지형 교차 attention을 활용하여 패치화 없이 비그림자 영역에서 그림자 영역으로 문맥적 피처를 전달하는 새로운 크로스리전 트랜스포머를 제안한다. 하이브리드 CNN-Transformer 아키텍처를 이원 인코더와 정교화된 디코더와 함께 통합함으로써, CRFormer는 ISTD, AISTD, SRD 및 영상 그림자 제거 데이터셋에서 최신 기술 수준의 성능을 달성하며, RMSE를 최대 17.1까지 감소시키고 SSIM을 0.854로 향상시킨다.

ABSTRACT

Aiming to restore the original intensity of shadow regions in an image and make them compatible with the remaining non-shadow regions without a trace, shadow removal is a very challenging problem that benefits many downstream image/video-related tasks. Recently, transformers have shown their strong capability in various applications by capturing global pixel interactions and this capability is highly desirable in shadow removal. However, applying transformers to promote shadow removal is non-trivial for the following two reasons: 1) The patchify operation is not suitable for shadow removal due to irregular shadow shapes; 2) shadow removal only needs one-way interaction from the non-shadow region to the shadow region instead of the common two-way interactions among all pixels in the image. In this paper, we propose a novel cross-region transformer, namely CRFormer, for shadow removal which differs from existing transformers by only considering the pixel interactions from the non-shadow region to the shadow region without splitting images into patches. This is achieved by a carefully designed region-aware cross-attention operation that can aggregate the recovered shadow region features conditioned on the non-shadow region features. Extensive experiments on ISTD, AISTD, SRD, and Video Shadow Removal datasets demonstrate the superiority of our method compared to other state-of-the-art methods.

연구 동기 및 목표

• 이미지 및 영상에서 그림자 제거의 과제를 해결하기 위해, 그림자가 시각적 품질을 떨어뜨리고 후속 작업을 방해하는 문제를 다룬다.
• 장거리 의존성을 모델링하는 데 어려움을 겪는 CNN의 한계와, 패치 기반 트랜스포머가 비정규적인 그림자 형태를 처리하는 데 떨어지는 한계를 극복한다.
• 비그림자 영역에서 그림자 영역으로만 선택적으로 문맥 정보를 전달하는 단방향 어텐션 메커니즘을 설계하여, 손상된 그림자 피처에 의한 간섭을 방지한다.
• 패치화를 피함으로써 고해상도 복원을 달성하고 세밀한 디테일을 유지하며 색상 왜곡을 최소화함으로써 고 fidelity 그림자 제거를 실현한다.
• 다양한 데이터셋, 특히 동적 그림자가 존재하는 영상 시퀀스를 포함하여 일반화성과 강건성을 입증한다.

제안 방법

• 이중 인코더를 사용하여 그림자 이미지와 그 그림자 마스크에서 비대칭 피처를 추출하는 하이브리드 CNN-Transformer 프레임워크를 제안한다.
• 핵심 혁신은 비그림자 영역에서 그림자 영역으로만 어텐션을 계산하는 영역 인지형 교차 어텐션 메커니즘으로, 비그림자 피처에 조건화되어 있다.
• 트랜스포머 레이어 내의 크로스리전 정렬 블록이 전체 비그림자 영역의 문맥적 단서를 반복적으로 사용하여 그림자 피처를 정교화한다.
• 단일 CNN 기반 디코더가 융합된 피처에서 복원된 그림자를 재구성하고, 이후 경량 U-형 RefineNet을 통해 후처리를 수행한다.
• 구조적 및 의미적 충실도를 유지하기 위해 L1 손실과 인지적 손실의 조합을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 패치화를 피함으로써 전체 해상도 이미지를 직접 처리할 수 있으며, 비정규적인 그림자 경계를 더 잘 다룰 수 있다.

실험 결과

연구 질문

• RQ1 비그림자 영역에서 그림자 영역으로의 단방향 어텐션 메커니즘이 기존의 양방향 자기어텐션보다 그림자 제거 성능에서 뛰어나지 못할까?
• RQ2 패치화를 피할 경우, 비정규적인 그림자 형태를 가진 이미지에서 성능 향상이 이루어질까?
• RQ3 손상된 그림자 피처에서 노이즈가 유입되지 않도록 전체 비그림자 영역의 문맥 정보를 효과적으로 활용할 수 있을까?
• RQ4 제안된 영역 인지형 교차 어텐션은 일반적인 자기어텐션 대비 그림자 복원 품질과 강건성에서 어떻게 비교되는가?
• RQ5 모델은 복잡한 그림자 동역학을 포함한 다양한 데이터셋, 특히 영상 시퀀스에 대해 얼마나 잘 일반화되는가?

주요 결과

• CRFormer는 영상 그림자 제거 데이터셋에서 RMSE 17.1을 기록하여 이전 최신 기술 수준의 모든 방법들을 능가한다.
• 영상 그림자 제거 데이터셋에서 SSIM을 0.854로 향상시켜, 뛰어난 시각적 품질과 구조적 보존 능력을 입증한다.
• 영역 인지형 교차 어텐션 메커니즘이 일반 어텐션 대비 RMSE를 7.7% 감소시켜, 그림자 영역 복원 능력이 크게 향상됨을 보여준다.
• 두 개의 크로스리전 정렬 블록을 사용할 경우 최적의 성능을 달성하며, 그 이상은 수익 감소와 함께 FLOPs 증가가 발생한다.
• CRFormer는 예측되지 않은 영상 데이터에 대해 강력한 일반화 능력을 보이며, VSR 벤치마크에서 지도 및 비지도 기반 베이스라인 모두를 능가한다.
• 정성적 결과는 특히 복잡한 그림자 영역에서 색상 왜곡과 잡음이 줄어들었음을 보여주며, 그림 4의 빨간 사각형으로 확인된다.