[논문 리뷰] Robust Glare Detection: Review, Analysis, and Dataset Release

Mahdi Abolfazli Esfahani, Han Wang|arXiv (Cornell University)|2021. 10. 12.

Impact of Light on Environment and Health참고 문헌 14인용 수 7

한 줄 요약

이 논문은 RGB, HSV, 색채도(C), 기울기(G) 등의 다중 이미지 표현을 사용하여 향상된 세분화 정확도를 확보하기 위해 수정된 U-Net 아키텍처를 사용한 강건한 반사광 탐지 방법을 제안한다. 주요 기여는 공개된 첫 번째 반사광 탐지 데이터셋을 제공한 것이며, RGB와 기울기 표현을 조합할 경우 F1 점수 0.4927을 기록하여 개별 또는 전체 조합 표현보다 뛰어난 성능을 보였으며, 상호보완적인 특징 정보 덕분이었다.

ABSTRACT

Sun Glare widely exists in the images captured by unmanned ground and aerial vehicles performing in outdoor environments. The existence of such artifacts in images will result in wrong feature extraction and failure of autonomous systems. Humans will try to adapt their view once they observe a glare (especially when driving), and this behavior is an essential requirement for the next generation of autonomous vehicles. The source of glare is not limited to the sun, and glare can be seen in the images captured during the nighttime and in indoor environments, which is due to the presence of different light sources; reflective surfaces also influence the generation of such artifacts. The glare's visual characteristics are different on images captured by various cameras and depend on several factors such as the camera's shutter speed and exposure level. Hence, it is challenging to introduce a general - robust and accurate - algorithm for glare detection that can perform well in various captured images. This research aims to introduce the first dataset for glare detection, which includes images captured by different cameras. Besides, the effect of multiple image representations and their combination in glare detection is examined using the proposed deep network architecture. The released dataset is available at https://github.com/maesfahani/glaredetection

연구 동기 및 목표

• 자율주행 차량에서 촬영된 이미지의 반사광 문제를 해결하기 위해, 이는 시각적 특징 추출을 악화시키고 주행 및 위치 추정을 위협하기 때문이다.
• 다양한 카메라와 조명 조건에 적용 가능한 강건하고 일반화 가능한 반사광 탐지 방법을 개발하기 위해.
• 반사광 세분화에 적합한 다양한 이미지 표현(_RGB, HSV, 색채도, 기울기_)의 효과를 평가하기 위해.
• 실제 환경 조건에서 촬영한 다양한 반사광 영향을 받은 이미지로 구성된 새로운 데이터셋을 공개하여 기준 성능 평가를 위해 제공하기 위해.
• 정밀도, 재현율, F1 점수 측면에서 탐지 성능을 최대화하는 최적의 이미지 표현 조합을 규명하기 위해.

제안 방법

• 이미지 내 반사광 영역의 픽셀 단위 세분화를 위해 수정된 U-Net 아키텍처를 사용한다.
• 다양한 이미지 표현을 입력으로 사용한다: RGB, HSV, 색채도(C), 기울기(G), 각각 반사광의 다른 시각적 특징을 강조한다.
• 기울기 표현(G)은 영상 강도의 차이에서 유도되며, 반사광 특징에서 흔히 나타나는 에지와 전이를 강조한다.
• 색채도(C)는 RGB에서 계산되어 반사광과 관련된 색상 채도 및 밝기 변화를 강조한다.
• 새로가 수집한 200개의 레이블이 부여된 반사광 이미지 데이터셋을 기반으로 8중 교차 검증을 사용하여 네트워크를 훈련시킨다.
• 표준 지표인 정밀도, 재현율, F1 점수, 정확도를 사용하여 성능을 평가하며, 표준편차를 함께 보고한다.

실험 결과

연구 질문

• RQ1 RGB, HSV, 색채도, 기울기 중 어떤 이미지 표현이 반사광 탐지에서 가장 높은 성능을 낼 수 있는가?
• RQ2 다양한 이미지 표현을 조합할 경우 반사광 세분화의 강건성과 정확도는 어떻게 영향을 받는가?
• RQ3 F1 점수를 최대화하고 잡음 신호를 최소화하는 데 가장 적합한 이미지 표현 조합은 무엇인가?
• RQ4 모든 표현을 함께 포함할 경우 성능 향상이 이루어지는가, 아니면 잡음이 유입되는가?
• RQ5 다양한 카메라 데이터로 훈련된 딥 러닝 모델이 다양한 반사광 유형과 환경 조건에 일반화되는가?

주요 결과

• RGB와 기울기(I_RGB & I_G) 표현의 조합이 가장 높은 F1 점수 0.4927을 기록하여 정밀도와 재현율 사이의 최적의 균형을 이룬다.
• I_RGB & I_G 조합에서 가장 높은 재현율(0.7616)을 기록하여 실제 반사광 영역의 강력한 탐지 능력을 보여준다.
• I_G & I_HSV 조합에서 가장 높은 정밀도(0.5083)와 정확도(0.8950)를 기록하여 배경 억제 능력이 뛰어나다.
• 모든 네 가지 표현을 함께 사용할 경우(I_RGB & I_HSV & I_G & I_C) F1 점수가 0.4662로 하락하여, 중복되거나 상충되는 정보가 성능 저하를 유발함을 시사한다.
• I_G 표현만으로도 가장 높은 F1 점수(0.4635)를 기록하여, 날카운 강도 전이와 같은 핵심 반사광 특징을 잘 포착하고 있음을 나타낸다.
• I_HSV 표현은 가장 높은 재현율(0.6636)을 기록하여 고대비 영역에서 특히 반사광 영역에 대한 민감도가 높음을 보여준다.