[논문 리뷰] Automatic Signboard Detection from Natural Scene Image in Context of Bangladesh Google Street View

Md. Sadrul Islam Toaha, Chowdhury Rafeed Rahman외 4명|arXiv (Cornell University)|2020. 03. 04.

Vehicle License Plate Recognition인용 수 5

한 줄 요약

이 논문은 저해상도의 방글라데시 구글 스트리트 뷰 이미지에서 정확한 사인판 탐지를 위한 신규 데이터셋 BSVSO와 스마트 이미지 처리 기법을 하이퍼파라미터 최적화된 Faster R-CNN과 융합한 하이브리드 방법을 제안한다. 이 방법은 겹치는 물체와 잡음 신호를 포함한 복잡한 환경에서도 탐지 성능을 향상시키며, 통계적으로 최적화된 하이퍼파라미터를 통해 기준 모델 대비 뛰어난 성능을 달성한다.

ABSTRACT

Automatic signboard region detection is the first step of information extraction about establishments from an image, especially when there is a complex background and multiple signboard regions are present in the image. Automatic signboard detection in Bangladesh is a challenging task because of low quality street view image, presence of overlapping objects and presence of signboard like objects which are not actually signboards. In this research, we provide a novel dataset from the perspective of Bangladesh city streets with an aim of signboard detection, namely Bangladesh Street View Signboard Objects (BSVSO) image dataset. We introduce a novel approach to detect signboard accurately by applying smart image processing techniques and statistically determined hyperparameter based deep learning method, Faster R-CNN. Comparison of different variations of this segmentation based learning method have also been performed in this research.

연구 동기 및 목표

• 방글라데시의 저해상도이자 혼잡한 스트리트 뷰 이미지에서 사인판 탐지 문제를 해결하기 위해.
• 방글라데시 도시 환경의 시각적 특성에 맞게 특화된, 새로운 맥락 기반 데이터셋(BSVSO)을 구축하기 위해.
• 이미지 처리 기법과 하이퍼파라미터 최적화된 Faster R-CNN 모델을 융합하여 탐지 정확도를 향상시키기 위해.
• 사인판 탐지에 적합한 세그멘테이션 기반 딥 러닝 접근법의 다양한 변형을 평가하고 비교하기 위해.

제안 방법

• 연구진은 방글라데시 도시의 실제 구글 스트리트 뷰 이미지를 기반으로 방글라데시 스트리트 뷰 사인판 객체(BSVSO) 데이터셋을 구축했다.
• 딥 러닝 처리 이전에 이미지 품질 향상 및 노이즈 감소를 위한 사전 처리 기법을 적용했다.
• 최적의 성능을 확보하기 위해 통계 분석을 활용해 하이퍼파라미터를 조정한 Faster R-CNN 모델을 사용했다.
• 이 방법은 영역 제안 네트워크(RPNs)와 영역 기반 분류 기법을 활용해 사인판 영역을 탐지한다.
• 다양한 Faster R-CNN 모델 변형을 학습시켜 가장 효과적인 설정을 도출했다.
• 이 접근법은 복잡한 배경에서 유사한 외관을 가진 물체(예: 포스터, 광고판 등)와 실제 사인판을 구분하는 데 중점을 둔다.

실험 결과

연구 질문

• RQ1 제안된 하이브리드 방법은 방글라데시의 저품질이고 혼잡한 스트리트 뷰 이미지에서 사인판 탐지에 얼마나 효과적인가?
• RQ2 BSVSO 데이터셋은 일반적인 데이터셋 대비 사인판 탐지 성능을 얼마나 향상시키는가?
• RQ3 이 맥락에서 Faster R-CNN 모델의 어떤 변형이 사인판 영역 탐지 정확도를 가장 높이는가?
• RQ4 통계적으로 결정된 하이퍼파라미터는 실생활 도시 환경에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 최적화된 하이퍼파라미터 덕분에 제안된 방법이 기준 Faster R-CNN 변형보다 높은 탐지 정확도를 달성했다.
• BSVSO 데이터셋은 방글라데시 도시 환경에서 사인판 탐지의 시각적 다양성과 과제를 효과적으로 반영하고 있다.
• 이미지 사전 처리가 배경 혼잡도 및 잡음 신호와의 구분 능력을 모델이 향상시키는 데 기여했다.
• 복잡한 환경에서 겹치거나 가려진 사인판이 존재하는 경우, 하이브리드 접근법이 표준 딥 러닝 모델보다 뛰어난 성능을 보였다.