[논문 리뷰] Challenging Environments for Traffic Sign Detection: Reliability Assessment under Inclement Conditions

Dogancan Temel, Tariq Alshawi외 2명|arXiv (Cornell University)|2019. 02. 19.

Infrastructure Maintenance and MonitoringEngineering참고 문헌 47인용 수 20

한 줄 요약

이 논문은 비, 눈, 안개, 저조도 등 실제적인 과도한 조건을 반영한 영상 기반 교통 표지판 검출 벤치마크인 CURE-TSD 데이터셋을 소개한다. 이 데이터셋은 이러한 조건 하에서 최첨단 딥러닝 모델을 평가하여 심각한 조건에서 평균 정밀도 손실 0.17과 재현율 손실 0.28을 확인함으로써 자율주행 시스템에서 더 강력한 알고리즘의 필요성을 부각시킨다.

ABSTRACT

State-of-the-art algorithms successfully localize and recognize traffic signs over existing datasets, which are limited in terms of challenging condition type and severity. Therefore, it is not possible to estimate the performance of traffic sign detection algorithms under overlooked challenging conditions. Another shortcoming of existing datasets is the limited utilization of temporal information and the unavailability of consecutive frames and annotations. To overcome these shortcomings, we generated the CURE-TSD video dataset and hosted the first IEEE Video and Image Processing (VIP) Cup within the IEEE Signal Processing Society. In this paper, we provide a detailed description of the CURE-TSD dataset, analyze the characteristics of the top performing algorithms, and provide a performance benchmark. Moreover, we investigate the robustness of the benchmarked algorithms with respect to sign size, challenge type and severity. Benchmarked algorithms are based on state-of-the-art and custom convolutional neural networks that achieved a precision of 0.55 and a recall of 0.32, F0.5 score of 0.48 and F2 score of 0.35. Experimental results show that benchmarked algorithms are highly sensitive to tested challenging conditions, which result in an average performance drop of 0.17 in terms of precision and a performance drop of 0.28 in recall under severe conditions. The dataset is publicly available at https://github.com/olivesgatech/CURE-TSD.

연구 동기 및 목표

• 기존 교통 표지판 검출 데이터셋에서 실질적인 도전 조건이 충분히 반영되지 않은 점을 해결하기 위해.
• 다양한 환경적 열화 조건 하에서 교통 표지판 검출 알고리즘의 강건성 평가를 위한 벤치마크를 제공하기 위해.
• 도전 유형, 심각도, 표지판 크기의 영향을 알고리즘 성능에 분석하기 위해.
• 모의(합성) 환경에서의 성능과 실제 환경 조건에서의 성능 간 상관관계를 조사하기 위해.
• 악조건 기상 및 조명 조건에서 자율주행 차량의 인식 성능 향상을 위한 더 강력한 딥러닝 모델 개발을 촉진하기 위해.

제안 방법

• 비, 눈, 안개, 저조도, 과도한 조명 등 실제 도전 조건에서 교통 표지판을 촬영한 100개 이상의 시퀀스를 포함한 CURE-TSD 영상 데이터셋을 생성하였다.
• CURE-TSD 데이터셋에서 최고 성능을 낸 검출 알고리즘을 벤치마크하기 위해 IEEE Video and Image Processing Cup 2017을 주최하였다.
• 표준 평가 지표인 정밀도, 재현율, F0.5 점수, F2 점수를 사용하여 네 개의 최고 성능 팀 모델을 다양한 도전 유형과 심각도 수준에서 평가하였다.
• 작은 표지판이 더 높은 도전 수준을 의미하는 크기 기반 지표(x축)를 사용해 도전의 심각도를 분류하고 성능 추세를 분석하였다.
• 시험 세트를 실제 환경 데이터와 합성 데이터로 분할하여 두 영역 간 성능 간 스피어만 상관관계를 계산하였다.
• 다양한 도전 유형(예: 안개, 비, 코덱 오류)과 표지판 크기 간 성능 비교를 통해 알고리즘의 강건성을 분석하였다.

실험 결과

연구 질문

• RQ1 최첨단 교통 표지판 검출 모델은 비, 눈, 저조도와 같은 실제적인 심각한 환경 도전 조건에서 어떻게 성능을 발휘하는가?
• RQ2 도전 조건 하에서 표지판 크기와 검출 성능 간의 관계는 어떠한가?
• RQ3 다양한 유형과 수준의 환경 열화 조건에서 검출 알고리즘의 성능는 어떻게 변하는가?
• RQ4 모의(합성) 환경에서의 성능는 유사 조건에서의 실제 환경 강건성 예측에 얼마나 유용한가?
• RQ5 어떤 알고리즘 아키텍처가 교통 표지판 검출에서 환경 열화에 가장 강건한가?

주요 결과

• 최고 성능 모델은 CURE-TSD 벤치마크에서 정밀도 0.55, 재현율 0.32, F0.5 점수 0.48, F2 점수 0.35를 기록하였다.
• 심각한 도전 조건 하에서 평균 정밀도는 0.17 감소하고 재현율은 0.28 감소하여 환경 열화에 매우 민감한 것으로 나타났다.
• Team Neurons는 모든 표지판 크기 수준에서 최고 성능를 기록했으며, Team IIP는 코덱 오류와 비로 인해 가장 심각한 성능 저하를 보였다.
• Team IIP와 Team Markovians에서 성능 변동이 가장 두드러졌으며, Team Markovians는 재현율과 F2에서 낮은 변동성을 보였지만 안개 조건에서 성능이 열악했다.
• 실제 환경과 합성 환경 성능 간 스피어만 상관계수는 재현율 0.915, 정밀도 0.781로 나타나 시뮬레이션 기반 강건성 테스트의 강력한 예측 능력을 보였다.
• 본 연구는 현재 딥러닝 모델이 환경 도전에 매우 취약함을 입증하며, 자율주행 차량 인식 시스템에서 더 강력한 알고리즘 설계의 필요성을 강조한다.