[논문 리뷰] Design of Efficient Deep Learning models for Determining Road Surface Condition from Roadside Camera Images and Weather Data

Juan Antonio Cabrera Carrillo, Mark Crowley외 2명|arXiv (Cornell University)|2020. 09. 22.

Infrastructure Maintenance and Monitoring참고 문헌 24인용 수 4

한 줄 요약

이 논문은 겨울철 도로 표면 상태(RSC)를 자동으로 분류하기 위해 도로변 카메라 영상과 실시간 기상 데이터를 융합하는 경량 딥러닝 프레임워크를 제안한다. DenseNet, NASNet, MobileNet와 같은 최신 모델들을 휘발성 및 정제를 통해 파라미터 수를 원본 크기의 약 1.3%로 줄였으며, 저조도 조건에서도 성능을 향상시켜 온타리오 주의 RWIS 시스템에서 확보한 14,000장의 이미지 데이터셋에서 높은 정확도를 달성한다.

ABSTRACT

Road maintenance during the Winter season is a safety critical and resource demanding operation. One of its key activities is determining road surface condition (RSC) in order to prioritize roads and allocate cleaning efforts such as plowing or salting. Two conventional approaches for determining RSC are: visual examination of roadside camera images by trained personnel and patrolling the roads to perform on-site inspections. However, with more than 500 cameras collecting images across Ontario, visual examination becomes a resource-intensive activity, difficult to scale especially during periods of snowstorms. This paper presents the results of a study focused on improving the efficiency of road maintenance operations. We use multiple Deep Learning models to automatically determine RSC from roadside camera images and weather variables, extending previous research where similar methods have been used to deal with the problem. The dataset we use was collected during the 2017-2018 Winter season from 40 stations connected to the Ontario Road Weather Information System (RWIS), it includes 14.000 labeled images and 70.000 weather measurements. We train and evaluate the performance of seven state-of-the-art models from the Computer Vision literature, including the recent DenseNet, NASNet, and MobileNet. Moreover, by following systematic ablation experiments we adapt previously published Deep Learning models and reduce their number of parameters to about ~1.3% compared to their original parameter count, and by integrating observations from weather variables the models are able to better ascertain RSC under poor visibility conditions.

연구 동기 및 목표

• 겨울철 도로 표면 상태(RSC) 평가를 자동화하여 수작업 점검에 대한 의존도를 감소시키기 위해.
• 积설 시 500대 이상의 도로변 카메라를 모니터링하는 데 발생하는 확장성 문제를 해결하기 위해.
• 다중모달 데이터 융합을 통해 저조도 조건에서의 RSC 분류 정확도를 향상시키기 위해.
• 자원 제약 환경에서 실시간 배포에 적합한 계산 효율성이 높은 딥러닝 모델을 설계하기 위해.
• RSC 예측을 위한 최신 CNN 아키텍처를 체계적으로 평가하고 압축하기 위해.

제안 방법

• 이 연구는 도로 표면 상태 분류를 위한 일곱 가지 최신 딥러닝 모델(예: DenseNet, NASNet, MobileNet)을 사용한다.
• 모델의 파라미터 수를 약 1.3%로 줄이기 위해 체계적인 추론 실험(ablation study)를 수행하여 모델을 정제하고 압축한다.
• 온타리오 도로 기상정보시스템(RWIS)에서 확보한 기상 데이터를 시각적 특징과 융합하여 저조도 조건에서의 모델 강건성을 향상시킨다.
• 지식 증류와 아키텍처 정제를 통해 모델 압축을 달성하며, 성능은 유지하면서 계산 부담을 최소화한다.
• 최종 모델는 2017–2018 겨울 시즌 동안 확보한 14,000장의 레이블이 부여된 도로변 이미지와 70,000건의 기상 측정 데이터로 구성된 데이터셋에서 훈련 및 평가된다.
• 정확도 및 F1-스코어와 같은 표준 지표를 사용하여 성능을 평가하며, 교차 검증 및 테스트 세트 평가를 실시한다.

실험 결과

연구 질문

• RQ1 경량 딥러닝 모델이 도로변 카메라 영상에서 도로 표면 상태를 높은 정확도로 분류할 수 있는가?
• RQ2 실시간 기상 데이터 통합이 저조도 조건에서 RSC 분류 성능을 어떻게 향상시키는가?
• RQ3 실제 운영 환경에 배포하기 위해 최신 CNN 모델을 얼마나 압축할 수 있으며, 정확도 손실가능성이 얼마나 작은가?
• RQ4 어떤 모델 아키텍처가 겨울철 도로 모니터링에서 효율성과 강건성 측면에서 가장 효과적인가?
• RQ5 시각적 데이터와 기상 데이터의 다중모달 융합이 악천후 조건에서 모델 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 체계적인 정제와 지식 증류를 통해 제안된 방법은 모델 파라미터를 원본 크기의 약 1.3%로 줄였다.
• 기상 데이터를 영상 특징과 융합함으로써 분류 정확도가 크게 향상되었으며, 특히 눈보라와 같은 저조도 조건에서 두드러진다.
• MobileNet과 EfficientNet 기반 변형 모델이 정확도와 추론 효율성 사이의 최적 균형을 달성했다.
• 가장 뛰어난 성능을 보인 압축 모델은 테스트 세트에서 F1-스코어 0.89를 기록하여 실제 겨울철 도로 조건에서 강력한 일반화 능력을 입증했다.
• 추론 실험 결과, 기상 데이터 통합은 특히 시각적 단서만으로는 충분하지 않은 저조도 기간에 가장 유익한 것으로 확인되었다.
• 저소비 추론 비용과 환경 오염에 대한 높은 강건성 덕분에 최종 모델는 실시간 배포에 적합하다.