[논문 리뷰] Mapping road safety features from streetview imagery: A deep learning approach

Arpan Man Sainju, Zhe Jiang|arXiv (Cornell University)|2019. 07. 15.

Automated Road and Building Extraction참고 문헌 27인용 수 5

한 줄 요약

이 논문은 도로 안전 기준(예: 루미프리프, 콘크리트 장벽, 금속 충격 장벽 등)을 스트리트 뷰 영상에서 자동으로 분류하기 위해 컨볼루션 신경망(CNN)과 장기 단기 기억(LSTM) 네트워크를 조합한 딥러닝 프레임워크를 제안한다. 도로 네트워크를 따라 공간적 순차적 의존성을 모델링함으로써, 기준 방법 대비 분류 정확도를 향상시켰으며, 테스트 데이터셋에서 F-스코어를 5% 향상시키고 앨라배마 주의 주요 고속도로 전역에서 대규모 안전 기준 지ap핑을 가능하게 했다.

ABSTRACT

Each year, around 6 million car accidents occur in the U.S. on average. Road safety features (e.g., concrete barriers, metal crash barriers, rumble strips) play an important role in preventing or mitigating vehicle crashes. Accurate maps of road safety features is an important component of safety management systems for federal or state transportation agencies, helping traffic engineers identify locations to invest on safety infrastructure. In current practice, mapping road safety features is largely done manually (e.g., observations on the road or visual interpretation of streetview imagery), which is both expensive and time consuming. In this paper, we propose a deep learning approach to automatically map road safety features from streetview imagery. Unlike existing Convolutional Neural Networks (CNNs) that classify each image individually, we propose to further add Recurrent Neural Network (Long Short Term Memory) to capture geographic context of images (spatial autocorrelation effect along linear road network paths). Evaluations on real world streetview imagery show that our proposed model outperforms several baseline methods.

연구 동기 및 목표

• 스트리트뷰 영상에서 도로 안전 기준을 수작업으로 지도하는 데 드는 높은 비용과 비효율성을 해결하기 위해.
• 선형 도로 네트워크를 따라 연속적인 스트리트뷰 이미지 간의 공간 자기상관관계를 모델링하기 위해.
• 이미지 시퀀스의 순차적 맥락을 활용해 안전 기준(예: 루미프리프, 장벽 등)의 분류 정확도를 향상시키기 위해.
• 딥러닝을 활용해 교통 당국이 스케일업 가능한 자동화된 안전 기준 지도 제작을 가능하게 하기 위해.
• 다중 클래스 도로 안전 기준 분류에서 공유된 vs. 별도의 LSTM 브랜치의 성능을 평가하기 위해.

제안 방법

• 하이브리드 딥러닝 모델은 개별 스트리트뷰 이미지에서 특징을 추출하기 위한 CNN과 연속적인 이미지 간의 순차적 의존성을 모델링하기 위한 LSTM을 통합한다.
• 두 가지 변형이 평가되었으며, 모든 클래스에 대해 하나의 LSTM이 특징를 처리하는 공유-LSTM 모델과, 각 클래스별로 하나의 LSTM이 있는 별도-LSTM 모델이다.
• 모델은 도로 네트워크 세그먼트를 따라 이미지를 순차적으로 처리함으로써 공간 자기상관관계를 활용하여 지리적 맥락을 포착한다.
• 실제 도로 영상 자료로 앨라배마 주의 주요 고속도로에서 확보한 스트리트뷰 영상 자료를 사용하였으며, 훈련 및 검증 데이터는 세 가지 안전 기준 클래스에 대해 수작업으로 주석 처리되었다.
• 성능 평가에는 오ックス포드, 앨라배마(이하 오ックス포드, AL)와 투스칼로사, 앨라배마(이하 투스칼로사, AL)에서 확보한 두 개의 테스트 세트를 사용하여 F-스코어, 정밀도, 재현율을 기준으로 평가하였다.
• 사례 연구에서는 최고의 성능을 보인 모델(CNN-separateLSTM)을 활용해 앨라배마 주의 모든 주요 고속도로에서 69,500장의 스트리트뷰 영상을 분석하여 대규모 안전 기준 지도를 생성하였다.

실험 결과

연구 질문

• RQ1 CNN과 LSTM을 조합한 딥러닝 모델이 표준 CNN에 비해 스트리트뷰 영상에서 도로 안전 기준의 분류 정확도를 향상시킬 수 있는가?
• RQ2 도로 네트워크를 따라 순차적 공간 의존성을 모델링할 경우, 다양한 공간 척도를 가진 안전 기준의 분류 성능에 어떤 영향을 미치는가?
• RQ3 각 클래스별로 별도의 LSTM을 사용하는 것이 다수의 도로 안전 기준을 분류하는 데 공유된 LSTM 아키텍처보다 성능이 뛰어나게 되는가?
• RQ4 모델이 훈련 및 검증 데이터 외부 지역, 예를 들어 투스칼로사, 앨라배마와 같은 지역으로 일반화되는 정도는 어느 정도인가?
• RQ5 모델이 교통 인프라 계획 수립에 적합한 신뢰할 수 있는 대규모 안전 기준 지도를 생성할 수 있는가?

주요 결과

• CNN-separateLSTM 모델은 투스칼로사 테스트 세트에서 최고의 기준 방법 대비 5% 높은 F-스코어를 기록하여, 클래스별 순차적 모델링을 통한 성능 향상이 입증되었다.
• CNN-단독 모델은 고립된 오분류를 유발하였으나, LSTM 구성 요소 덕분에 특히 CNN-sharedLSTM 및 CNN-separateLSTM 모델에서 이러한 오류가 보완되었다.
• CNN-separateLSTM 모델가 CNN-sharedLSTM 모델보다 성능이 뛰어나, 클래스별로 독립적인 순차적 시퀀스 모델링이 분류 정확도 향상에 기여함을 시사한다.
• 모델은 앨라배마 주의 주요 고속도로 전역에서 루미프리프가 있는 54,890장의 이미지(약 1,200km), 금속 충격 장벽이 있는 12,841장의 이미지(약 257km), 콘크리트 장벽이 있는 26,997장의 이미지(약 540km)를 성공적으로 지도화하였다.
• 예측 지도는 실제 지도와 일치하는 공간 패턴을 보였다: 긴 연속적인 루미프리프, 짧고 분리된 금속 장벽, 도시 지역이나 다리 근처에 자주 나타나는 다양한 길이의 콘크리트 장벽.
• 무작위 샘플링을 통한 검증을 통해 실제 현장 적용에서 높은 정확도를 확보하였다.