[논문 리뷰] A Reflectance Based Method For Shadow Detection and Removal

Sri Kalyan Yarlagadda, Fengqing Zhu|arXiv (Cornell University)|2018. 07. 11.

Video Surveillance and Tracking Methods참고 문헌 10인용 수 4

한 줄 요약

이 논문은 색상 영상에서 그림자-비그림자 세그먼트 쌍을 식별하기 위해 반사율, 텍스처, 투명도 특성을 사용하는 학습이 없는 그림자 검출 방법을 제안한다. 중앙값 색상 차이, 각도 임계값, 반복적 정밀 조정을 활용하여, 딥러닝이나 CRF 기반 접근 방식보다 파rameter 수가 적지만 높은 그림자 검출 정확도(UCI에서 90.6%, UCF에서 92.0%)를 달성한다.

ABSTRACT

Shadows are common aspect of images and when left undetected can hinder scene understanding and visual processing. We propose a simple yet effective approach based on reflectance to detect shadows from single image. An image is first segmented and based on the reflectance, illumination and texture characteristics, segments pairs are identified as shadow and non-shadow pairs. The proposed method is tested on two publicly available and widely used datasets. Our method achieves higher accuracy in detecting shadows compared to previous reported methods despite requiring fewer parameters. We also show results of shadow-free images by relighting the pixels in the detected shadow regions.

연구 동기 및 목표

• 단일 색상 영상에서 그림자와 그림자 유사한 그림자 영역이 시각적으로 모호한 상황에서 정확한 그림자 검출 문제를 해결하기 위해.
• 딥러닝이나 CRF 기반 접근 방식보다 파rameter 수를 줄이면서도 높은 검출 정확도를 유지할 수 있는 방법을 개발하기 위해.
• 반사율과 조명 일관성에 기반하여 그림자 영역을 정확히 식별하여 효과적인 그림자 제거를 가능하게 하기 위해.
• 반사율, 텍스처, 투명도 기반의 세그먼트 수준 비교를 통해 복잡한 시나리오에서의 강인성을 향상시키기 위해.

제안 방법

• 메서드는 반사율과 조명이 유사한 픽셀을 군집화하기 위해 크기 9의 가우시안 커널을 사용한 Quickshift 알고리즘을 활용한 영상 세그먼테이션으로 시작된다.
• 반사율 분류기는 비그림자 세그먼트의 중앙값 색상과 (I_NS - I_S) 벡터 간의 각도를 계산하고, 10° 임계값을 적용하여 동일한 재질 쌍을 식별한다.
• 투명도 분류기는 Otsu의 방법을 통해 회색조 임계값을 적용하여 그림자 세그먼트가 더 어두운지 확인함으로써, 그림자 영역을 저투명도 세그먼트로 제한한다.
• 텍스처 분류기는 세그먼트 쌍 간의 국소 텍스처 특징(국소 이진 패턴을 사용)을 비교하여 그림자 검출 신뢰도를 강화한다.
• 초기 세그먼트 쌍에서 연결 그래프를 구축하고 기하학적 및 강도 일관성 기반으로 반복적으로 정밀 조정하여 마스크 정확도를 향상시킨다.
• 정밀 조정 과정에서는 더 작은 커널(크기 3)을 사용해 재세그먼테이션하고, Otsu 임계값 이하의 픽셀 비율이 70% 이상인 세그먼트를 그림자 또는 비그림자로 레이블링한다.

실험 결과

연구 질문

• RQ1 학습이 없는 방법이 반사율과 조명 일관성만을 사용하여 높은 그림자 검출 정확도를 달성할 수 있는가?
• RQ2 다양한 조명 조건에서 그림자와 그림자 유사한 그림자 영역을 구분하기 위해 중앙값 색상 벡터 간의 각도 기준은 얼마나 효과적인가?
• RQ3 반사율, 텍스처, 투명도 기반의 세그먼트 수준 비교가 더 적은 파rameter로 학습 기반 방법을 능가할 수 있는가?
• RQ4 세그먼트 연결의 반복적 정밀 조정이 그림자 마스크 정확도를 얼마나 향상시키는가?

주요 결과

• UIUC 데이터셋에서 이 방법은 90.6%의 그림자 검출 정확도를 기록했으며, 유니어리 + 페어와이즈(71.6%) 및 ConvNet(84.7%) 방법을 모두 능가했다.
• UIUC에서의 균형 오류율(BER)은 0.119로, ConvNet의 0.099보다 略로 높지만 파rameter 수가 적어도 경쟁력 있는 성능이다.
• 더 복잡한 UCF 데이터셋에서는 92.0%의 그림자 검출 정확도를 기록했으며, BDT-BCRF(63.9%), 유니어리 + 페어와이즈(73.3%), ConvNet(78.0%) 방법을 모두 뛰어넘었다.
• UCF에서의 BER는 0.1265로, 비교된 모든 방법보다 우수하여 불균형 데이터에서 강력한 성능을 보였다.
• 재조명 기법을 사용해 테스트 이미지에서 그림자를 성공적으로 제거하여, 영상 향상 분야에서 실용적 유용성을 입증했다.
• 더 작은 커널과 Otsu 임계값을 사용한 정밀 조정은 경계 정확도를 향상시켜 매우 밝은 세그먼트에서의 잘못된 양성 결과를 감소시켰다.