[논문 리뷰] SAM-helps-Shadow:When Segment Anything Model meet shadow removal

Xiaofeng Zhang, Chaochen Gu외 1명|arXiv (Cornell University)|2023. 06. 01.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 영구적인 그림자 검출 및 제거를 위한 새로운 일단계 프레임워크인 SAM-helps-Shadow를 제안한다. 이는 세그먼테이션 애니웨어 모델(SAM)을 강력한 사전 지식으로 활용하여 제로샷 그림자 검출 및 제거를 실현한다. SAM의 세그먼테이션 출력을 활용해 그림자 위치를 안내하고, 두 번째 차수의 딥 언폴딩 네트워크를 사용해 정제함으로써, ISTD 및 SRD 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며 일반화 능력은 향상되고 레이블이 있는 데이터 의존도는 감소시켰다.

ABSTRACT

The challenges surrounding the application of image shadow removal to real-world images and not just constrained datasets like ISTD/SRD have highlighted an urgent need for zero-shot learning in this field. In this study, we innovatively adapted the SAM (Segment anything model) for shadow removal by introducing SAM-helps-Shadow, effectively integrating shadow detection and removal into a single stage. Our approach utilized the model's detection results as a potent prior for facilitating shadow detection, followed by shadow removal using a second-order deep unfolding network. The source code of SAM-helps-Shadow can be obtained from https://github.com/zhangbaijin/SAM-helps-Shadow.

연구 동기 및 목표

• 기존 방법이 ISTD/SRD와 같은 제약 있는 데이터셋에 국한되어 있어 실세계 이미지 그림자 제거에서 제로샷 학습의 필수적 필요성을 해결한다.
• 그림자 전용 레이블이 많은 대규모 데이터셋에 의존하는 것을 줄이기 위해, SAM의 제로샷 세그먼테이션 능력을 활용해 그림자 검출에 활용한다.
• 그림자 검출과 제거를 하나의 통합 파이프라인으로 통합하여 효율성과 성능을 향상시킨다.
• 그림자 전용 데이터로의 토닝 없이도 SAM이 그림자 특성에 대한 이해를 바탕으로 실세계 이미지에 대한 일반화 능력을 향상시킨다.
• 수동 애너테이션과 학습 복잡도를 최소화하는 견고한 종단 간 프레임워크를 개발한다.

제안 방법

• SAM의 기본 배경 분류 기능을 고려할 때도, 그림자를 프oreground 객체로 간주하여 SAM을 그림자 검출에 적응시킨다.
• SAM의 세그먼테이션 마스크를 강력한 사전 지식으로 활용해 그림자 검출을 안내하며, 재학습 없이도 제로샷 추론이 가능하도록 한다.
• 반복적으로 그림자 제거된 이미지를 정제하기 위해 두 번째 차수의 딥 언폴딩 네트워크를 설계한다. 이는 정확도 향상과 질감 세부 정보 유지에 기여한다.
• 딥 언폴딩 네트워크 내에서 SAM 마스크를 공간적 사전 지식으로 통합하여 최적화 과정을 제약하고 그림자 제거의 정확도를 향상시킨다.
• 그림자 제거된 이미지와 실제 그림자가 포함된 이미지의 쌍을 사용해 딥 언폴딩 네트워크를 종단 간으로 훈련하며, 그림자 애너테이션의 광범위한 필요성을 제거한다.
• SAM과 AIGC 기반 인paint링 원리의 조합 가능성을 활용해, 맥락 인식이 가능한 민첩한 그림자 제거를 가능하게 한다.

실험 결과

연구 질문

• RQ1 그림자 전용 데이터로의 토닝 없이도 SAM을 효과적으로 재사용하여 제로샷 그림자 검출이 가능한가?
• RQ2 SAM의 세그먼테이션 마스크를 사전 지식으로 사용할 경우, 기존 방법 대비 그림자 검출 및 제거 성능 향상 정도는 어떠한가?
• RQ3 두 번째 차수의 딥 언폴딩 네트워크가 그림자 제거 정확도 향상과 세부 정보 유지에 얼마나 기여하는가?
• RQ4 제안된 일단계 프레임워크가 ISTD 및 SRD와 같은 벤치마크 데이터셋을 초월해 실세계 이미지에 일반화 가능한가?
• RQ5 정량적 지표와 시각적 품질 측면에서 최신 기술 수준의 그림자 제거 모델과 비교해 볼 때, 이 방법은 어떠한가?

주요 결과

• ISTD 데이터셋에서 SAM-helps-Shadow는 RMSE-all 5.09를 기록했으며, 이는 이전 최신 기술 수준 모델인 Bijetive(4.78)와 SpA-Former(6.86)를 초월했다. PSNR는 28.85, SSIM은 0.959를 기록했다.
• SRD 데이터셋에서 이 방법은 RMSE-all 4.79를 달성했으며, Bejetive(4.15)와 SpA-Former(6.86)를 모두 뛰어넘었다. PSNR는 30.72, SSIM은 0.952를 기록했다.
• 이 방법은 강력한 제로샷 일반화 능력을 보였으며, 그림자 레이블 데이터로의 토닝 없이도 실세계 이미지에서 그림자를 효과적으로 제거했다.
• 절단 실험을 통해 제안된 방법이 표준 SAM 및 이미지 인paint링 기반 접근 방식보다 세그먼테이션 정확도와 디셔도잉 품질 측면에서 뛰어난 성능을 보였다.
• SAM 마스크를 공간적 사전 지식으로 통합함으로써 경계 일관성이 향상되고 그림자 제거 이미지의 잡음이 감소했다.
• 두 번째 차수의 딥 언폴딩 네트워크가 질감 및 색상 일관성 유지 측면에서 더 높은 정밀도 결과를 기여했다.