[논문 리뷰] Shadow Removal via Shadow Image Decomposition

Hieu Lê, Dimitris Samaras|arXiv (Cornell University)|2019. 08. 23.

Image Enhancement Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 물리적 조명 모델을 사용하여 그림자 영상을 분해함으로써 그림자 매개변수와 매트를 두 개의 네트워크(SP-Net 및 M-Net)를 통해 추정하는 딥러닝 프레임워크를 제안한다. 이 분해를 바탕으로 ISTD 데이터셋에서 최신 기술 성능을 달성하며, 그림자 영역의 RMSE를 13.3에서 7.4로 감소시킨다. 이는 모델 개선과 데이터 증강을 통해 달성된다.

ABSTRACT

We propose a novel deep learning method for shadow removal. Inspired by physical models of shadow formation, we use a linear illumination transformation to model the shadow effects in the image that allows the shadow image to be expressed as a combination of the shadow-free image, the shadow parameters, and a matte layer. We use two deep networks, namely SP-Net and M-Net, to predict the shadow parameters and the shadow matte respectively. This system allows us to remove the shadow effects on the images. We train and test our framework on the most challenging shadow removal dataset (ISTD). Compared to the state-of-the-art method, our model achieves a 40% error reduction in terms of root mean square error (RMSE) for the shadow area, reducing RMSE from 13.3 to 7.9. Moreover, we create an augmented ISTD dataset based on an image decomposition system by modifying the shadow parameters to generate new synthetic shadow images. Training our model on this new augmented ISTD dataset further lowers the RMSE on the shadow area to 7.4.

연구 동기 및 목표

• 단일 영상에서 그림자가 컴퓨터 비전 작업의 성능을 떨어뜨리는 현실적인 그림자 제거 문제를 해결한다.
• 직접적인 피크셀 수준 예측을 피함으로써 뿌연 또는 아티팩트가 많은 출력을 유발하는 엔드 투 엔드 딥러닝 방법의 한계를 극복하기 위해 물리적 조명 모델을 통합한다.
• 사용자 간섭 없이 자동으로 그림자 매개변수와 매트를 추정할 수 있는 완전히 감독된 방법을 개발한다.
• 매개변수 조작를 통해 합성 그림자 영상을 생성함으로써 데이터 증강을 통해 모델의 일반화 능력을 향상시킨다.
• 그림자 제거에 있어 도전적인 ISTD 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.

제안 방법

• 각 색상 채널별로 선형 조명 변환을 사용하여 그림자 형성 모델링: $I^\text{darkened}_i = (I^\text{shadow-free}_i - b) \cdot w^{-1}$, 여기서 $w$와 $b$는 그림자 매개변수이다.
• SP-Net이라는 딥 네트워크를 사용하여 입력 그림자 영상에서 그림자 매개변수 $w$와 $b$를 예측한다.
• M-Net이라는 두 번째 딥 네트워크를 사용하여 그림자 매트 $\alpha$를 예측한다. 이는 그림자 영역과 재조명된 영역 간의 피크셀 단위 블렌딩을 제어한다.
• 영상 분해를 통해 영상 복원: $I^\text{shadow-free} = I^\text{shadow} \cdot \alpha + I^\text{darkened} \cdot (1 - \alpha)$, 여기서 $I^\text{darkened}$는 추정된 $w$와 $b$를 사용해 재조명된다.
• 스케일링 인자 $w$를 조작하여 합성 그림자 영상을 생성: $w_{\text{syn}} = w \times k$이며 $k \in \{0.8, 0.9, 1.1, 1.2\}$, 이로써 증강된 훈련 데이터를 생성한다.
• 기존 ISTD 데이터셋과 증강된 데이터셋을 모두 사용하여 SP+M-Net 전체 시스템을 훈련함으로써 일반화 능력과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 단순화된 물리적 조명 모델에 기반한 딥러닝 프레임워크가 엔드 투 엔드 딥러닝 방법보다 그림자 제거 품질에서 뛰어난 성능을 낼 수 있는가?
• RQ2 딥 네트워크를 사용하여 완전히 자동화된 엔드 투 엔드 방식으로 그림자 매개변수와 매트를 얼마나 정확하게 예측할 수 있는가?
• RQ3 제안된 방법이 데이터 증강을 위한 현실적인 합성 그림자 영상 생성에 얼마나 효과적인가?
• RQ4 매개변수 기반 그림자 편집을 통한 데이터 증강이 일반화 능력 향상과 벤치마크 데이터셋에서의 오차 감소에 얼마나 기여하는가?
• RQ5 매개변수 추정과 매트 예측을 병합한 방식이 단일 구성 요소만을 사용하는 경우에 비해 그림자 제거 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 SP+M-Net 프레임워크는 이전 최신 기술 대비 그림자 영역의 루트 평균 제곱 오차(RMSE)를 40% 감소시켜 RMSE를 13.3에서 7.9로 낮춘다.
• 그림자 매개변수를 조작하여 생성한 증강된 ISTD 데이터셋으로 훈련하면 그림자 영역의 RMSE가 기존 모델 대비 6% 향상되어 7.4로 감소한다.
• SP-Net만으로도 그림자 영역의 RMSE가 29% 향상되어 13.3에서 9.5로 감소하며, 매트 예측 없이도 매개변수 추정의 효과를 입증한다.
• 직접적인 피크셀 수준의 예측을 피함으로써 고해상도의 결과를 생성하며, 이미지 세부 정보와 색상 정확성을 유지한다.
• 제안된 데이터 증강 전략은 훈련 세트를 네 배로 확장(5320개의 합성 영상)하여 모델의 강인성을 크게 향상시킨다.
• 정성적 비교 결과, 기존 최신 기술 방법들인 Guo et al., Yang et al., Gong et al., Wang et al.과 비교해 더 현실적이고 일관성 있는 그림자 제거 결과를 도출한다.