[논문 리뷰] Fast Shadow Detection from a Single Image Using a Patched Convolutional Neural Network

Sepideh Hosseinzadeh, Moein Shakeri외 1명|arXiv (Cornell University)|2017. 09. 26.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 8

한 줄 요약

이 논문은 초점화된 컨볼루션 신경망(CNN)을 사용하여 계산 비용을 줄이기 위해 슈퍼픽셀 분할과 SVM를 통해 생성된 그림자 사전 지도를 활용하는 빠르고 정확한 그림자 검출 방법을 제안한다. 슈퍼픽셀 수준의 특징으로 훈련하고 두 번째 CNN 프로세스를 통해 경계 픽셀을 보정함으로써, 최신의 딥러닝 기반 방법보다 최대 두 계단 만큼 빠른 추론 속도를 달성하면서도 벤치마크 데이터셋에서 경쟁 가능한 정확도를 유지한다.

ABSTRACT

In recent years, various shadow detection methods from a single image have been proposed and used in vision systems; however, most of them are not appropriate for the robotic applications due to the expensive time complexity. This paper introduces a fast shadow detection method using a deep learning framework, with a time cost that is appropriate for robotic applications. In our solution, we first obtain a shadow prior map with the help of multi-class support vector machine using statistical features. Then, we use a semantic- aware patch-level Convolutional Neural Network that efficiently trains on shadow examples by combining the original image and the shadow prior map. Experiments on benchmark datasets demonstrate the proposed method significantly decreases the time complexity of shadow detection, by one or two orders of magnitude compared with state-of-the-art methods, without losing accuracy.

연구 동기 및 목표

• 기존의 딥러닝 기반 그림자 검출 방법의 높은 시간 복잡도 문제를 해결하여 실시간 로봇 응용 분야에서의 활용을 가능하게 하기 위해.
• 슈퍼픽셀 분할과 학습된 그림자 사전 지도를 활용하여 정확도를 유지하면서 계산 효율성을 향상시키기 위해.
• 로봇 응용 분야에서 실시간 그림자 검출을 가능하게 하기 위해 이미지당 추론 시간을 2초 이내로 줄이기 위해.
• 일조 조건이나 카메라 모델에 대한 가정 없이 다양한 조명 조건과 이미지 품질에 대해 강건한 방법을 개발하기 위해.
• 도로 검출 및 항공 영상과 같은 실생활 응용 분야에서의 효과성을 입증하기 위해.

제안 방법

• 입력 이미지를 공간 복잡도를 줄이기 위해 평균 이동 알고리즘을 사용하여 슈퍼픽셀로 분할한다.
• 각 슈퍼픽셀에서 색상 및 텍스처 특징을 추출하고, 이는 훈련된 다중 클래스 SVM에 의해 입력되어 각 영역이 그림자일 확률을 나타내는 그림자 사전 지도를 생성한다.
• 원본 RGB 이미지와 그림자 사전 지도를 결합하여 슈퍼픽셀 수준에서 그림자 확률 지도를 예측하기 위해 패치 수준의 CNN에 입력한다.
• 슈퍼픽셀 간 경계 픽셀은 동일한 패치 수준의 CNN을 다시 적용하여 정밀도를 향상시킨다.
• 최종 그림자 확률 지도는 슈퍼픽셀 특징을 기반으로 한 영역 기반 예측과 경계 보정을 위한 엣지 기반 예측의 두 단계로 생성된다.
• 픽셀 단위의 예측을 피함으로써 계산 부담을 크게 줄이고, 공간 일관성과 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 그림자 검출 방법이 상태의 기술(SOTA) 수준의 정확도를 유지하면서도 시간 복잡도를 한두 계단 정도 감소시킬 수 있는가?
• RQ2 슈퍼픽셀 분할과 학습된 그림자 사전 지도를 조합함으로써 성능 저하 없이 추론 속도를 향상시킬 수 있는가?
• RQ3 슈퍼픽셀 특징으로 훈련된 패치 수준의 CNN이 픽셀 수준의 CNN보다 그림자 검출 속도와 정확도에서 뛰어나게 작용할 수 있는가?
• RQ4 두 단계 예측(영역 기반 및 경계 기반)이 단일 단계 방법에 비해 그림자 검출의 경계 정밀도를 향상시킬 수 있는가?
• RQ5 제안된 방법은 도로 검출 및 항공 영상과 같은 실생활 로봇 응용 분야에 효과적으로 적용될 수 있는가?

주요 결과

• SBU 데이터셋에서 제안된 방법은 이미지당 테스트 시간을 1.87초로 줄여, 다음으로 빠른 방법인 Stacked-CNN 대비 100배 빠른 속도를 달성한다.
• 통합 데이터셋에서의 테스트 시간은 이미지당 1.55초로, 통계적 및 딥러닝 기반 기준선보다 뚜렷이 빠르며.
• 경쟁 가능한 정확도를 유지하여 통합 데이터셋에서 총 정확도 91.03%를 기록했으며, 유니어리-페어웨이 방법을 능가하고 최고의 SOTA 방법과 동등한 성능을 보였다.
• SVM를 통해 생성된 그림자 사전 지도는 CNN의 일반화 능력을 향상시켜, 정확도 손실 최소화로 동시에 빠른 훈련과 추론을 가능하게 했다.
• 세인트루시아, UACampus 및 항공 영상에서의 정성적 결과는 고품질의 확률 지도를 확인했으며, 다양한 실세계 시나리오에서의 강건성을 입증했다.
• 두 단계 보정 프로세스는 특히 경계가 모호한 복잡한 시나리오에서 경계 정밀도를 크게 향상시켰다.