[논문 리뷰] Improved Pothole Detection Using YOLOv7 and ESRGAN

Nirmal Kumar Rout, Gyanateet Dutta외 4명|arXiv (Cornell University)|2023. 11. 10.

Infrastructure Maintenance and Monitoring인용 수 5

한 줄 요약

이 논문은 저해상도 영상 전처리를 위해 YOLOv7와 ESRGAN을 활용한 이단계 처리 파이프라인을 제안한다. 저품질 드래그카메라 입력 영상을 ESRGAN 기반 초해상도 처리로 증강함으로써, YOLOv7의 탐지 정확도와 속도가 크게 향상되어 고성능 이미징 하드웨어 없이도 실제 저해상도 데이터에서 뛰어난 성능을 달성한다.

ABSTRACT

Potholes are common road hazards that is causing damage to vehicles and posing a safety risk to drivers. The introduction of Convolutional Neural Networks (CNNs) is widely used in the industry for object detection based on Deep Learning methods and has achieved significant progress in hardware improvement and software implementations. In this paper, a unique better algorithm is proposed to warrant the use of low-resolution cameras or low-resolution images and video feed for automatic pothole detection using Super Resolution (SR) through Super Resolution Generative Adversarial Networks (SRGANs). Then we have proceeded to establish a baseline pothole detection performance on low quality and high quality dashcam images using a You Only Look Once (YOLO) network, namely the YOLOv7 network. We then have illustrated and examined the speed and accuracy gained above the benchmark after having upscaling implementation on the low quality images.

연구 동기 및 목표

• 기존 딥러닝 모델의 성능을 제한하는 표준 드래그카메라에서 촬영한 저해상도 영상에서 포thole을 탐지하는 데 도전하는 것.
• 고품질 영상이 확보되지 않거나 비현실적인 실생활 조건에서 탐지 정확도와 속도를 향상시키는 것.
• 고해상도 및 저해상도 영상에서 YOLOv7를 활용한 포thole 탐지에 대한 강력한 기준 성능을 수립하는 것.
• ESRGAN을 통한 초해상도 처리가 저품질 입력에서의 탐지 성능 향상에 얼마나 효과적인지 평가하는 것.
• ESRGAN 업스케일링이 YOLOv7가 저해상도 데이터에서 경쟁 가능한 성능을 달성할 수 있도록 함으로써 고해상도 기준에 근접하게 만드는 것을 입증하는 것.

제안 방법

• 이 방법은 이단계 파이프라인을 활용한다: 먼저 ESRGAN을 사용해 저해상도 입력 영상을 고해상도로 확대한다.
• ESRGAN은 구조적 및 텍스처 세부 정보를 유지하기 위해 적대적 손실과 인지적 손실을 사용해 저해상도 입력에서 고해상도 영상을 생성하도록 훈련된다.
• 향상된 고해상도 영상은 포thole 탐지를 위해 미세조정된 YOLOv7 객체 탐지 모델에 입력된다.
• 초해상도 처리 이전과 이후의 탐지 성능를 비교하기 위해 저해상도 및 고해상도 드래그카메라 영상 데이터셋을 사용해 시스템을 평가한다.
• 고품질 영상에서의 기준 YOLOv7 성능을 확립해 성능 기준점을 제공한다.
• 실시간 적용 가능성을 확보하기 위해 추론 속도 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 ESRGAN 기반 초해상도 처리가 저해상도 드래그카메라 영상을 효과적으로 복원하여 후속 포thole 탐지 성능을 향상시킬 수 있는가?
• RQ2 원시 저해상도 입력 영상에 비해 ESRGAN으로 업스케일된 저해상도 영상에 적용된 YOLOv7의 탐지 정확도는 어떻게 변화하는가?
• RQ3 제안된 방법이 YOLOv7를 사용해 저해상도와 고해상도 영상 탐지 간의 성능 격차를 어느 정도 해소하는가?
• RQ4 ESRGAN과 YOLOv7의 통합이 차량 내 배치에 적합한 실시간 추론 속도를 유지하는가?
• RQ5 고해상도 기준에서 표준 YOLOv7에 비해 제안된 파이프라인의 비교 성능는 어떠한가?

주요 결과

• ESRGAN 업스케일링 이후 저해상도 영상에서 제안된 방법이 동일한 입력에 대해 기준 YOLOv7보다 포thole 탐지 정확도를 크게 향상시킨다.
• 초해상도 처리 이후 탐지 mAP(평균 정밀도)가 상당히 증가하여 이미지 향상이 모델 일반화 능력 향상에 효과적임을 입증한다.
• 파이프라인은 실시간 추론 속도를 유지하여 모바일 또는 임베디드 시스템에의 배치에 적합하다.
• ESRGAN으로 업스케일된 저해상도 영상에서 YOLOv7의 성능이 고해상도 영상에서의 YOLOv7 성능에 근접함을 보여주며, 강력한 복원 및 탐지 상호보완 효과를 입증한다.
• ESRGAN의 사용은 나쁜 촬영 조건에서도 신뢰할 수 있는 탐지 성능을 제공하여 오답 탐지 수를 줄이고 강건성을 향상시킨다.
• 이 방법은 저해상도 포thole 탐지에 새로운 기준을 설정하며, 초해상도 처리가 실생활 배포에 있어 핵심 전처리 단계가 될 수 있음을 보여준다.