[論文レビュー] Improved Pothole Detection Using YOLOv7 and ESRGAN

Nirmal Kumar Rout, Gyanateet Dutta+4 more|arXiv (Cornell University)|Nov 10, 2023

Infrastructure Maintenance and Monitoring被引用数 5

ひとこと要約

本稿では、YOLOv7とESRGANを用いて低解像度画像を事前に増強することで、より優れた険しい穴検出を実現する二段階パイプラインを提案する。低解像度のドライブレコーダ入力をESRGANベースの超解像処理で拡大することで、YOLOv7の検出精度と速度が顕著に向上し、高価な画像撮影機器を必要とせずに、実世界の低解像度データにおいて優れた性能を達成する。

ABSTRACT

Potholes are common road hazards that is causing damage to vehicles and posing a safety risk to drivers. The introduction of Convolutional Neural Networks (CNNs) is widely used in the industry for object detection based on Deep Learning methods and has achieved significant progress in hardware improvement and software implementations. In this paper, a unique better algorithm is proposed to warrant the use of low-resolution cameras or low-resolution images and video feed for automatic pothole detection using Super Resolution (SR) through Super Resolution Generative Adversarial Networks (SRGANs). Then we have proceeded to establish a baseline pothole detection performance on low quality and high quality dashcam images using a You Only Look Once (YOLO) network, namely the YOLOv7 network. We then have illustrated and examined the speed and accuracy gained above the benchmark after having upscaling implementation on the low quality images.

研究の動機と目的

• 標準的なドライブレコーダから得られる低解像度画像における院路検出の課題に対処すること。
• 高品質な画像が得られない、あるいは現実的でない実環境条件下で、検出精度と速度を向上させること。
• 高解像度および低解像度画像の両方に対してYOLOv7を用いた院路検出の堅牢なベースラインを確立すること。
• ESRGANによる超解像処理が、低品質な入力における検出性能を向上させる有効性を評価すること。
• ESRGANによる拡大処理により、YOLOv7が低解像度データにおいても高解像度ベンチマークに近い性能を達成できることを示すこと。

提案手法

• 本手法は二段階パイプラインを採用する：まず、低解像度入力画像をESRGANで高解像度にアップサンプリングする。
• ESRGANは、敵対的損失と知覚的損失を用いて、構造的およびテクスチャ的詳細を保持するように、低解像度入力から高解像度画像を生成するように訓練される。
• 向上された高解像度画像が、陨路検出に最適化されたYOLOv7オブジェクト検出モデルに供給される。
• 低解像度および高解像度のドライブレコーダ画像データセットを用いて、超解像処理の前後での検出性能を比較評価する。
• 高品質な画像におけるベースラインYOLOv7の性能を確立し、性能の基準点とする。
• 車両搭載システムにおけるリアルタイム適用を可能にするために、推論速度の最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 ESRGANベースの超解像処理は、低解像度ドライブレコーダ映像を効果的に回復させ、その後続の陨路検出性能を向上させることができるか？
• RQ2 ESRGANでアップサンプリングされた低解像度画像に対してYOLOv7を適用した場合、元の低解像度入力と比較して検出精度はどのように変化するか？
• RQ3 提案手法が、YOLOv7を用いた低解像度および高解像度画像の検出性能の差をどの程度縮められるか？
• RQ4 ESRGANとYOLOv7の統合は、車両搭載システムに適したリアルタイム推論速度を維持できるか？
• RQ5 提案パイプラインは、高解像度ベンチマークにおける標準YOLOv7と比較して、どの程度の性能を示すか？

主な発見

• ESRGANによるアップサンプリング処理を施した後、低解像度画像における陨路検出精度が著しく向上し、同じ入力に対してベースラインYOLOv7を上回る性能を示した。
• 超解像処理後、検出のmAP（平均適合精度）が顕著に向上し、画像強化がモデルの一般化性能を向上させることの有効性が裏付けられた。
• パイプラインはリアルタイム推論速度を維持しており、モバイルまたは組み込みシステムへのデプロイに適している。
• ESRGANでアップサンプリングされた低解像度画像に対するYOLOv7の性能は、高解像度画像に対するYOLOv7の性能に近づき、画像回復と検出の相乗効果が顕著に現れた。
• ESRGANの使用により、撮影条件が悪い状況下でも信頼性の高い検出が可能になり、誤検出（偽陰性）が減少し、耐障害性が向上した。
• 本手法は、低解像度陨路検出の新たなベースラインを確立し、実世界のデプロイにおいて超解像処理が重要な前処理ステップである可能性を示した。