[논문 리뷰] Appearance Harmonization for Single Image Shadow Removal

Liqian Ma, Jue Wang외 3명|arXiv (Cornell University)|2016. 03. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 5

한 줄 요약

이 논문은 CIELab 색상 공간에서 가이드된 신뢰도 인식 재구성 과정을 사용하여 그림자 제거 이미지의 색상과 텍스처의 일관성 없는 부분을 자동으로 수정하는 Shadow Region Harmonization (SRH) 방법을 제안한다. 이는 비그림자 영역에서 유래한 패치 기반 합성을 통해 수행되며, 벤치마크 데이터셋에서 최신 기술을 뛰어넘는 시각적 품질 향상을 크게 개선한다.

ABSTRACT

Shadows often create unwanted artifacts in photographs, and removing them can be very challenging. Previous shadow removal methods often produce de-shadowed regions that are visually inconsistent with the rest of the image. In this work we propose a fully automatic shadow region harmonization approach that improves the appearance compatibility of the de-shadowed region as typically produced by previous methods. It is based on a shadow-guided patch-based image synthesis approach that reconstructs the shadow region using patches sampled from non-shadowed regions. The result is then refined based on the reconstruction confidence to handle unique image patterns. Many shadow removal results and comparisons are show the effectiveness of our improvement. Quantitative evaluation on a benchmark dataset suggests that our automatic shadow harmonization approach effectively improves upon the state-of-the-art.

연구 동기 및 목표

• 기존 그림자 제거 기법이 생성하는 그림자 제거 영역에서의 시각적 일관성 문제를 해결하기 위해.
• 수동 입력 없이 완전 자동으로 그림자 영역을 조화롭게 통합할 수 있도록 하기 위해.
• 비그림자 영역과의 색상과 텍스처 일치를 통해 그림자 제거 이미지의 시각적 정밀도를 향상시키기 위해.
• 패치 기반 대응 관계와 신뢰도 가중치를 통해 복잡한 재질, 부드러운 그림자, 텍스처 변화를 처리하기 위해.
• 기존의 모든 그림자 제거 방법과 호환되는 후처리 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 동일한 이미지의 비그림자 영역에서 샘플링한 패치를 사용하여 그림자 영역을 재구성하기 위한 패치 기반 이미지 합성 프레임워크를 사용한다.
• 그림자 영역과 비그림자 영역 간의 국소적, 패치 수준의 대응 관계를 설정하여 매개변수화된 외관 보정 모델을 추정한다.
• 색상과 텍스처의 조화를 이루기 위해 CIELab 색상 공간에서 L 채널에 게인을, a 및 b 채널에 바이어스를 적용하는 보정 모델을 적용한다.
• 각 패치별로 신뢰도를 계산하여 신뢰할 수 있는 매칭을 우선순위로 하고, 고유한 텍스처나 열악한 대응 관계가 있는 영역에서 결과를 정밀 조정한다.
• 신뢰도 값을 통합하는 최적화 과정을 통해 약한 또는 모호한 패치 매칭이 있는 영역에서도 강력한 보정을 보장한다.
• 초기 그림자 제거 결과에 따라 가이드되므로, 기존의 어떤 그림자 제거 알고리즘과도 호환된다.

실험 결과

연구 질문

• RQ1 완전 자동화된 방법이 그림자 제거 이미지의 색상과 텍스처의 일관성 없는 부분을 효과적으로 수정할 수 있는가?
• RQ2 패치 기반 합성을 어떻게 조정하여 그림자 영역과 비그림자 영역 간의 외관을 일관적이고 강력하게 조화시킬 수 있는가?
• RQ3 신뢰도 가중 패치 매칭이 고유한 텍스처나 열악한 대응 관계가 있는 영역에서 성능 향상에 얼마나 기여하는가?
• RQ4 색상 공간의 선택과 게인/바이어스 매개변수 설정이 외관 조화화 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 부드러운 그림자와 복잡한 재질을 포함한 다양한 유형의 그림자에 대해 일반화 가능한가?

주요 결과

• 제안된 SRH 방법은 정성적 및 정량적 평가에서 시각적 품질을 크게 향상시켜 최신 기술을 뛰어넘는 성능을 보였다.
• 벤치마크 데이터셋에서, 모델 0(CIELab에 L 게인과 ab 바이어스 적용)가 테스트된 색상 모델 중 최고의 성능을 기록했다.
• 중간 범위의 매개변수 설정(L 게인 [0.9,1.11], ab 바이어스 [-0.05,0.05])에서 오차가 가장 낮게 나타나 모든 보고된 결과에 이 설정이 사용되었다.
• 이 방법은 노이즈와 잔류 그림자에 대해 강건하여, α=0.2일 때 가우시안 노이즈가 있는 상황에서도 색상 분포와 텍스처 세부 정보를 성공적으로 보정했다.
• 이 방법은 그림자 영역 내부의 일관성 문제를 효과적으로 줄였지만, 경계 불일치나 그림자 감지 실패 문제를 완전히 해결하지 못한다.
• 매개변수 범위에 따른 성능 차이가 미미하여, 하이퍼파라미터 설정에 대해 매우 강건함을 시사한다.