[논문 리뷰] Auto-Exposure Fusion for Single-Image Shadow Removal

Lan Fu, Changqing Zhou외 6명|arXiv (Cornell University)|2021. 03. 01.

Image Enhancement Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 영상 노출 융합 문제로 그림자 제거를 공식화하는 새로운 단일 영상 그림자 제거 방법인 Auto-Exposure Fusion을 제안한다. 입력 영상의 여러 과노출 버전을 추정하고, 그림자 인식 FusionNet과 경계 인식 RefineNet을 사용하여 이러한 영상을 적응적으로 융합함으로써 흔적 없는 자연스러운 그림자 없는 결과를 생성한다. ISTD, ISTD+, SRD 데이터셋에서 그림자 영역에서 6.5 RMSE를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Shadow removal is still a challenging task due to its inherent background-dependent and spatial-variant properties, leading to unknown and diverse shadow patterns. Even powerful state-of-the-art deep neural networks could hardly recover traceless shadow-removed background. This paper proposes a new solution for this task by formulating it as an exposure fusion problem to address the challenges. Intuitively, we can first estimate multiple over-exposure images w.r.t. the input image to let the shadow regions in these images have the same color with shadow-free areas in the input image. Then, we fuse the original input with the over-exposure images to generate the final shadow-free counterpart. Nevertheless, the spatial-variant property of the shadow requires the fusion to be sufficiently `smart', that is, it should automatically select proper over-exposure pixels from different images to make the final output natural. To address this challenge, we propose the shadow-aware FusionNet that takes the shadow image as input to generate fusion weight maps across all the over-exposure images. Moreover, we propose the boundary-aware RefineNet to eliminate the remaining shadow trace further. We conduct extensive experiments on the ISTD, ISTD+, and SRD datasets to validate our method's effectiveness and show better performance in shadow regions and comparable performance in non-shadow regions over the state-of-the-art methods. We release the model and code in https://github.com/tsingqguo/exposure-fusion-shadow-removal.

연구 동기 및 목표

• 그림자로 인해 공간적으로 변동하는 색상과 조명 품질 저하가 발생하는 자연 영상에서 그림자 제거 문제를 해결하기 위해.
• 배경에 따라 달라지며 공간적으로 변동하는 그림자 패tern으로 인해 기존 딥 러닝 방법이 흔적 없는 배경 복원에 어려움을 겪는 문제를 극복하기 위해.
• 다양한 과노출 영상의 민감한 픽셀 단위 융합을 가능하게 하여 그림자 영역의 정확한 색상과 조명 일관성을 회복할 수 있는 방법을 개발하기 위해.
• 경계 인식 보정 네트워크를 통해 잔여 그림자 흔적, 특히 반그림자 영역에서의 흔적을 제거하여 융합 결과를 보완하기 위해.
• 비그림자 영역에서도 고품질 결과를 유지하면서 그림자 영역에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 그림자 영역을 강조하기 위해 다양한 노출 수준을 적용하여 입력 그림자 영상의 여러 과노출 영상을 추정한다.
• 과노출 영상 간에 각 픽셀별 융합 가중치 맵을 생성하기 위해 그림자 인식 FusionNet을 제안한다. 이는 각 공간 위치에 최적의 픽셀을 적응적으로 선택할 수 있도록 한다.
• FusionNet는 그림자 맥락에 따라 동적으로 가중치를 할당할 수 있는 학습 가능한 커널 기반 어텐션 메커니즘을 사용하여 자연스러운 융합을 보장한다.
• 잔여 그림자 흔적, 특히 반그림자 영역에서의 흔적을 줄이기 위해 새로운 경계 손실 함수를 활용하는 경계 인식 RefineNet을 도입한다.
• 경계 손실 $\mathcal{L}_{\text{bd}}$ 는 비그림자 영역을 보존하면서도 그림자 영역에서 진짜 그림자 없는 콘텐츠를 정확히 복원하도록 유도하도록 설계되었다.
• 전체 프레임워크는 L1, 지각적, 경계 손실의 조합을 사용하여 엔드 투 엔드로 훈련되며, 구조적 및 시각적 정밀도를 최적화하기 위해 최적화된다.

실험 결과

연구 질문

• RQ1 다양한 과노출 융합이 단일 노출 또는 물리 모델 기반 재조명보다 더 높은 유연성과 정확도를 제공할 수 있는가?
• RQ2 딥 네트워크는 여러 과노출 영상을 어떻게 지능적으로 융합하여 그림자 영역에서 콘텐츠와 색상 일관성을 유지할 수 있는가?
• RQ3 경계 인식 보정 네트워크는 반그림자 영역에서 잔여 그림자 흔적을 어느 정도 감소시킬 수 있는가?
• RQ4 제안된 방법은 특히 흔적 없는 배경 복원 측면에서 최신 기술 수준의 방법들보다 뛰어난 성능을 달성하는가?
• RQ5 과노출 영상의 수가 공간적으로 변동하는 그림자 패턴에 대한 최종 융합 품질과 내구성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 ISTD+ 데이터셋에서 그림자 영역에서 RMSE 6.5를 기록하며, 반그림자 영역에서 SP+M-Net(7.06 RMSE)과 같은 최신 기술 수준의 방법들을 능가한다.
• Fusion+RefineNet 모델은 Fusion-N5 대비 RMSE를 0.3 감소시켜 경계 인식 RefineNet이 잔여 흔적 제거에 효과적임을 입증한다.
• 경계 손실 $\mathcal{L}_{\text{bd}}$ 를 추가함으로써 성능이 향상되어 ISTD+에서 그림자 영역의 RMSE는 6.5, 전체 RMSE는 4.2로 감소한다.
• 그림자 영역에서 진짜 노출 변화가 높을 경우, 단일 과노출(N=1) 대비 다중 과노출(N=5) 접근 방식이 뚜렷한 성능 우위를 보인다.
• 비그림자 영역에서도 RMSE 3.8 수준으로 유사한 성능을 유지하면서 그림자 영역의 결과가 크게 향상되어 강건성과 일반화 능력을 보여준다.
• 절단 분석 결과, 다중 과노출(N=5)가 최고의 성능을 내며 그림자 영역에서 RMSE 6.9를 기록했고, 경계 손실이 흔적 없는 결과를 달성하는 데 핵심적임을 확인했다.