[논문 리뷰] NEAR REAL-TIME MAP BUILDING WITH MULTI-CLASS IMAGE SET LABELLING AND CLASSIFICATION OF ROAD CONDITIONS USING CONVOLUTIONAL NEURAL NETWORKS

Sheela Ramanna, Cenker Sengoz외 2명|arXiv (Cornell University)|2020. 01. 01.

Infrastructure Maintenance and Monitoring참고 문헌 32인용 수 2

한 줄 요약

이 논문은 북미 교통 카메라에서 촬영한 이미지를 사용하여 컨볼루션 신경망(CNN)을 활용해 도로 상태를 분류하는 실시간에 가까운 지ap 빌딩 시스템을 제시한다. 여섯 가지 딥러닝 모델—VGG-16, ResNet50, Xception, InceptionResNetV2, EfficientNet-B0, EfficientNet-B4—을 평가하여 EfficientNet-B4가 90.6%의 검증 정확도를 기록했으며, EfficientNet-B0는 반의 시간이 소요되는 600ms의 추론 시간으로 90.3%의 높은 정확도를 달성하여 확장 가능한 실시간 배포에 적합한 성능을 보였다. 이는 동적 도로 상태 지도 제작에 기여한다.

ABSTRACT

Weather is an important factor affecting transportation and road safety. In this paper, we leverage state-of-the-art convolutional neural networks in labelling images taken by street and highway cameras located across across North America. Road camera snapshots were used in experiments with multiple deep learning frameworks to classify images by road condition. The training data for these experiments used images labelled as dry, wet, snow/ice, poor, and offline. The experiments tested different configurations of six convolutional neural networks (VGG-16, ResNet50, Xception, InceptionResNetV2, EfficientNet-B0 and EfficientNet-B4) to assess their suitability to this problem. The precision, accuracy, and recall were measured for each framework configuration. In addition, the training sets were varied both in overall size and by size of individual classes. The final training set included 47,000 images labelled using the five aforementioned classes. The EfficientNet-B4 framework was found to be most suitable to this problem, achieving validation accuracy of 90.6%, although EfficientNet-B0 achieved an accuracy of 90.3% with half the execution time. It was observed that VGG-16 with transfer learning proved to be very useful for data acquisition and pseudo-labelling with limited hardware resources, throughout this project. The EfficientNet-B4 framework was then placed into a real-time production environment, where images could be classified in real-time on an ongoing basis. The classified images were then used to construct a map showing real-time road conditions at various camera locations across North America. The choice of these frameworks and our analysis take into account unique requirements of real-time map building functions. A detailed analysis of the process of semi-automated dataset labelling using these frameworks is also presented in this paper.

연구 동기 및 목표

• 공개된 교통 카메라 이미지를 활용해 북미 전역의 도로 상태를 스케일러블하고 실시간에 가까운 방식으로 지ap 빌딩하는 시스템을 개발하기 위해.
• 다중 클래스 도로 상태 분류(건조, 습윤, 눈/ices, 열악한 상태, 장애)를 위한 최신 기술 기반의 CNN 아키텍처를 평가하기 위해.
• 실시간 배포를 위한 정확도, 추론 속도, 하드웨어 효율성 기반의 모델 선택 최적화를 위해.
• 제한된 컴퓨팅 자원으로도 전이 학습과 가짜 레이블링을 활용해 반자동으로 데이터셋 레이블링을 가능하게 하기 위해.

제안 방법

• 47,000장의 도로 카메라 캡처 이미지로 구성된 데이터셋을 기반으로 여섯 가지 딥 컨볼루션 신경망 아키텍처—VGG-16, ResNet50, Xception, InceptionResNetV2, EfficientNet-B0, EfficientNet-B4—을 훈련시켰다.
• 데이터 증강과 전이 학습을 적용하였으며, 특히 자원이 제한된 환경에서 VGG-16을 활용해 초도 가짜 레이블링을 수행하였다.
• 다중 클래스 분류를 위해 rectified Adam 옵timizer를 사용하고 기준 학습률 0.0001, 다중 분류 교차 엔트로피 손실 함수를 적용하였다.
• 5겹 교차 검증을 실시하였으며, 훈련/검증 세트 비율을 90/10으로 설정하여 총 42,606장의 이미지를 훈련용으로, 4,736장의 이미지를 검증용으로 사용하였다.
• 성능이 가장 뛰어난 모델인 EfficientNet-B4를 실시간 파이프라인에 구현하여 들어오는 이미지를 실시간으로 분류하고 결과를 지도 시각화에 스트리밍하였다.
• 분류된 출력 결과를 CSV 및 PostgreSQL에 저장하여 실시간 지도 시스템과의 통합을 지원하였다.

실험 결과

연구 질문

• RQ1 어느 딥러닝 아키텍처가 교통 카메라 이미지에서 도로 상태를 분류하는 데 가장 높은 정확도를 달성하는가?
• RQ2 모델의 추론 속도와 파라미터 수는 대규모 지도 빌딩 시스템에서 실시간 배포에 어떤 영향을 미치는가?
• RQ3 전이 학습과 가짜 레이블링을 통해 도로 상태 분류에서 수동 레이블링 비용을 얼마나 줄일 수 있는가?
• RQ4 데이터셋 크기와 클래스 불균형은 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 공개된 교통 카메라 영상만을 활용해 다중 관할 구역 간 통합 시스템을 구축해 실시간 도로 상태 모니터링을 가능하게 할 수 있는가?

주요 결과

• Eff정한Net-B4는 6 에포크 후 90.6%의 최고 검증 정확도를 기록하여 다른 모델보다 뛰어난 분류 성능을 보였다.
• EfficientNet-B0는 단지 600ms의 추론 시간으로 90.3%의 정확도를 달성하여 속도와 정확도 사이의 균형을 잘 맞춘 강력한 선택지였다.
• 자원이 제한된 환경에서 VGG-16을 활용한 전이 학습이 초도 데이터 확보 및 가짜 레이블링에 매우 효과적이었다.
• 더 크고 다양한 훈련 세트를 사용할수록 성능 향상이 뚜렷하여 데이터 확장성의 이점을 확인할 수 있었다.
• Xception, InceptionResNetV2, EfficientNet 프레임워크는 특히 하드웨어 자원이 충분한 경우 뛰어난 성능을 보였다.
• 최종 시스템은 782장의 분류된 이미지를 활용해 북미 도로 상태의 실시간 지도를 성공적으로 생성하여 종단 간 파이프라인의 타당성을 입증하였다.