[論文レビュー] Rethinking Road Surface 3D Reconstruction and Pothole Detection: From Perspective Transformation to Disparity Map Segmentation

Rui Fan, Umar Ozgunalp+3 more|arXiv (Cornell University)|Dec 19, 2020

Infrastructure Maintenance and Monitoring参考文献 55被引用数 5

ひとこと要約

本稿では、ステレオビジョンに基づく険しい穴検出システムを提案する。このシステムは、ステレオリグのロール角度を含む一般化された透視変換を用いて3次元道路表面再構築を向上させ、その後に不一致マップ変換とSLICを用いたスーパーピクセルセグメンテーションを実行する。GPUアクセラレーションを用いたRTX 2080 Ti上で処理した結果、ピクセル単位の精度が99.6%、Fスコアが89.4%に達した。

ABSTRACT

Potholes are one of the most common forms of road damage, which can severely affect driving comfort, road safety and vehicle condition. Pothole detection is typically performed by either structural engineers or certified inspectors. This task is, however, not only hazardous for the personnel but also extremely time-consuming. This paper presents an efficient pothole detection algorithm based on road disparity map estimation and segmentation. We first generalize the perspective transformation by incorporating the stereo rig roll angle. The road disparities are then estimated using semi-global matching. A disparity map transformation algorithm is then performed to better distinguish the damaged road areas. Finally, we utilize simple linear iterative clustering to group the transformed disparities into a collection of superpixels. The potholes are then detected by finding the superpixels, whose values are lower than an adaptively determined threshold. The proposed algorithm is implemented on an NVIDIA RTX 2080 Ti GPU in CUDA. The experiments demonstrate the accuracy and efficiency of our proposed road pothole detection algorithm, where an accuracy of 99.6% and an F-score of 89.4% are achieved.

研究の動機と目的

• 手動による点検に依存しない自動的かつ客観的で効率的な陥没穴検出システムの開発を目的とする。
• ステレオリグのロール角度を考慮する一般化された透視変換を用いて、道路表面の3次元再構築を改善することを目的とする。
• 新規の変換アルゴリズムを用いて不一致マップを変換することで、陥没穴の可視性を向上させることを目的とする。
• 教師あり学習データを必要とせず、スーパーピクセルセグメンテーションと適応的しきい値処理を用いて陥没穴を検出することを目的とする。
• 2次元および3次元幾何学的ジオメトリの真値を備えた、新たに作成されたステレオビジョンベースの陥没穴データセットを用いて性能を評価することを目的とする。

提案手法

• ステレオリグのロール角度を組み込むことで透視変換を一般化し、道路表面モデル化のためのパrameter推定を改善する。
• ステレオ画像ペアに対して半グローバルマッチング（SGM）を用いて道路の不一致を推定し、不一致マップを生成する。
• 損傷あり・なしの道路領域間のコントラストを強化するために、不一致マップ変換（DT）アルゴリズムを適用する。
• 変換済みの不一致を統合し、空間的整合性を持つスーパーピクセルに分類するために、シンプル・ラインアーブ・イテレーティブ・クラスタリング（SLIC）を用いる。
• k-meansクラスタリングにより決定される適応的しきい値未満の値を持つスーパーピクセルを特定することで、陥没穴を検出する。
• NVIDIA RTX 2080 Ti GPU上でリアルタイム性能を達成するため、CUDAを用いて全パイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 ステレオリグのロール角度を透視変換に組み込むことで、道路表面の3次元再構築の精度が向上するか？
• RQ2 不一致マップ変換により、陥没穴と損傷なしの道路表面との区別が明確になるか？
• RQ3 適応的しきい値処理を伴うスーパーピクセルベースのセグメンテーションは、従来の2次元画像セグメンテーションを上回る性能を示せるか？
• RQ4 本手法は、既存の深層学習ベースおよびコンピュータビジョンベースの陥没穴検出システムと比較して、精度と効率の面で優れているか？
• RQ5 教師あり学習データが存在しない場合、深層ニューラルネットワークと比較して性能にどの程度の影響が及ぶか？

主な発見

• 提案手法は、テストデータセットにおいてピクセル単位の精度が99.6%、Fスコアが89.4%に達した。
• システムはリアルタイムで動作し、RTX 2080 Ti GPU上で不一致マップ変換および陥没穴検出の合計処理時間が約3.5 msであった。
• 不一致マップ変換（DT）ステップにより特徴の区別能が著しく向上し、陥没穴が周囲の道路表面と明確に区別されるようになった。
• 教師あり学習データを一切必要としないにもかかわらず、比較した全深層畳み込みニューラルネットワーク（FCN、SegNet、U-Net、DeepLabv3+）を上回る精度とFスコアを達成した。
• 変換済み不一致マップをDCNNの入力として用いることで、元の不一致マップやRGB画像よりも優れた性能が得られ、DTの情報量の多さが裏付けられた。
• 著者らは、今後の自動道路状態評価研究を支援するため、ピクセル単位および3次元幾何学的ジオメトリの真値を備えた、3つの新しいステレオベースの陥没穴データセットを公開した。