[논문 리뷰] Rethinking Road Surface 3D Reconstruction and Pothole Detection: From Perspective Transformation to Disparity Map Segmentation

Rui Fan, Umar Ozgunalp외 3명|arXiv (Cornell University)|2020. 12. 19.

Infrastructure Maintenance and Monitoring참고 문헌 55인용 수 5

한 줄 요약

이 논문은 스테레오 비전 기반의 함정 탐지 시스템을 제안하며, 스테레오 릭의 롤 각도를 고려해 일반화된 투시 변환을 통해 3차원 도로 표면 재구성을 향상시키고, 이어 디스parity 맵 변환 및 SLIC를 통한 슈퍼픽셀 세그먼테이션을 수행한다. GPU 가속 처리를 통해 RTX 2080 Ti에서 99.6%의 픽셀 수준 정확도와 89.4%의 F-score를 달성한다.

ABSTRACT

Potholes are one of the most common forms of road damage, which can severely affect driving comfort, road safety and vehicle condition. Pothole detection is typically performed by either structural engineers or certified inspectors. This task is, however, not only hazardous for the personnel but also extremely time-consuming. This paper presents an efficient pothole detection algorithm based on road disparity map estimation and segmentation. We first generalize the perspective transformation by incorporating the stereo rig roll angle. The road disparities are then estimated using semi-global matching. A disparity map transformation algorithm is then performed to better distinguish the damaged road areas. Finally, we utilize simple linear iterative clustering to group the transformed disparities into a collection of superpixels. The potholes are then detected by finding the superpixels, whose values are lower than an adaptively determined threshold. The proposed algorithm is implemented on an NVIDIA RTX 2080 Ti GPU in CUDA. The experiments demonstrate the accuracy and efficiency of our proposed road pothole detection algorithm, where an accuracy of 99.6% and an F-score of 89.4% are achieved.

연구 동기 및 목표

• 수동 점검에 의존도를 줄이는 자동화되고 객관적이며 효율적인 함정 탐지 시스템을 개발하는 것.
• 스테레오 릭의 롤 각도를 고려해 일반화된 투시 변환을 통해 3차원 도로 표면 재구성의 정확도를 향상시키는 것.
• 새로운 변환 알고리즘을 사용해 디스파리티 맵을 변환함으로써 함정의 가시성을 향상시키는 것.
• 라벨이 없는 학습 데이터를 요구하지 않고 슈퍼픽셀 세그먼테이션과 적응형 임계값을 통해 함정을 탐지하는 것.
• 2차원 및 3차원 기하학적 지표를 모두 갖춘 새로운 스테레오 비전 기반 함정 데이터셋을 활용해 성능을 평가하는 것.

제안 방법

• 도로 표면 모델링을 위한 파rameter 추정을 향상시키기 위해 스테레오 릭의 롤 각도를 포함해 투시 변환을 일반화하는 것.
• 스테레오 이미지 쌍에 대해 반구역합 일치( Semi-Global Matching, SGM)를 사용해 도로 디스파리티를 추정하여 디스파리티 맵을 생성하는 것.
• 손상된 영역과 손상되지 않은 도로 영역 간의 대비를 증폭하기 위해 디스파리티 맵 변환(Disparity Map Transformation, DT) 알고리즘을 적용하는 것.
• 공간적 일관성을 확보하기 위해 변환된 디스파리티를 슈퍼픽셀로 그룹화하기 위해 단순 선형 반복 클러스터링(Simple Linear Iterative Clustering, SLIC)을 사용하는 것.
• k-means 클러스터링을 통해 결정된 적응형 임계값 이하의 값을 갖는 슈퍼픽셀을 식별함으로써 함정을 탐지하는 것.
• 모든 파이프라인을 CUDA에 구현하여 NVIDIA RTX 2080 Ti GPU에서 실시간 성능을 구현하는 것.

실험 결과

연구 질문

• RQ1 스테레오 릭의 롤 각도를 투시 변환에 통합함으로써 도로 표면 3차원 재구성의 정확도를 향상시킬 수 있는가?
• RQ2 디스파리티 맵 변환이 손상된 도로 표면과의 함정 가시성을 향상시키는가?
• RQ3 적응형 임계값을 사용한 슈퍼픽셀 기반 세그먼테이션은 기존의 2차원 이미지 세그먼테이션 기법보다 함정 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ4 기존의 딥 러닝 기반 및 컴퓨터 비전 기반 함정 탐지 시스템과 비교해 제안된 방법의 정확도와 효율성은 어떠한가?
• RQ5 딥 뉴럴 네트워크와 비교했을 때, 레이블이 없는 학습 데이터의 부재가 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 제안된 방법은 테스트 데이터셋에서 픽셀 수준 정확도 99.6%와 F-score 89.4%를 달성한다.
• 시스템은 실시간으로 작동하며, 디스파리티 변환 및 함정 탐지에 대한 총 처리 시간이 NVIDIA RTX 2080 Ti GPU에서 약 3.5ms이다.
• 디스파리티 맵 변환(DT) 단계는 특징의 구분 가능성을 크게 향상시켜 함정이 주변 도로 표면과 더 명확하게 구분되도록 한다.
• 라벨이 없는 학습 데이터를 요구하지도 않았음에도 불구하고, 모든 비교된 딥 컨volution 네트워크(Fully Convolutional Network, FCN, SegNet, U-Net, DeepLabv3+)보다 정확도와 F-score에서 뛰어난 성능을 보인다.
• 변환된 디스파리티 맵을 딥 컨volution 네트워크(DCNN)의 입력으로 사용할 경우, 원본 디스파리티 맵이나 RGB 이미지보다 더 높은 성능을 내어 DT의 정보성과 유용성을 확인한다.
• 저자들은 향후 자동화된 도로 상태 평가 연구를 지원하기 위해 픽셀 수준 및 3차원 기하학적 지표를 모두 갖춘 새로운 스테레오 기반 함정 데이터셋 3종을 공개하였다.