[論文レビュー] RHA-Net: An Encoder-Decoder Network with Residual Blocks and Hybrid Attention Mechanisms for Pavement Crack Segmentation

Guijie Zhu, Zhun Fan+6 more|arXiv (Cornell University)|Jul 28, 2022

Infrastructure Maintenance and Monitoring被引用数 8

ひとこと要約

本稿では、畳み込みニューラルネットワークに残差ブロックとハイブリッドアテンションメカニズムを組み合わせた、正確でリアルタイムな舗装亀裂セグメンテーションを実現するRHA-Netを提案する。特徴マップの統合とアテンション機構を統合することで、SOTA（最先端）の性能を達成するとともに、U-Netの1/30のパラメータを有する軽量版（RHA-Net*）を実現し、組み込みデバイス上で25 FPSのリアルタイム推論を可能にした。

ABSTRACT

The acquisition and evaluation of pavement surface data play an essential role in pavement condition evaluation. In this paper, an efficient and effective end-to-end network for automatic pavement crack segmentation, called RHA-Net, is proposed to improve the pavement crack segmentation accuracy. The RHA-Net is built by integrating residual blocks (ResBlocks) and hybrid attention blocks into the encoder-decoder architecture. The ResBlocks are used to improve the ability of RHA-Net to extract high-level abstract features. The hybrid attention blocks are designed to fuse both low-level features and high-level features to help the model focus on correct channels and areas of cracks, thereby improving the feature presentation ability of RHA-Net. An image data set containing 789 pavement crack images collected by a self-designed mobile robot is constructed and used for training and evaluating the proposed model. Compared with other state-of-the-art networks, the proposed model achieves better performance and the functionalities of adding residual blocks and hybrid attention mechanisms are validated in a comprehensive ablation study. Additionally, a light-weighted version of the model generated by introducing depthwise separable convolution achieves better a performance and a much faster processing speed with 1/30 of the number of U-Net parameters. The developed system can segment pavement crack in real-time on an embedded device Jetson TX2 (25 FPS). The video taken in real-time experiments is released at https://youtu.be/3XIogk0fiG4.

研究の動機と目的

• 複雑な実環境条件下（背景の多様性、亀裂種別の多様性を含む）における正確で効率的な自動的舗装亀裂セグメンテーションの課題に対処すること。
• 低レベル特徴における背景ノイズや干渉を低減しつつ、微小な亀裂の特徴表現を向上させること。
• 組み込みシステムにデプロイ可能な計算効率の高いモデルを構築し、車両搭載型のリアルタイム舗装点検を可能とすること。
• 残差ブロックとハイブリッドアテンションメカニズムの有効性が、セグメンテーション精度と耐障害性の向上に寄与することを検証すること。
• 学習と評価に用いるための多様で現実世界の舗装亀裂データセットを構築すること。

提案手法

• RHA-Netアーキテクチャは、階層的特徴学習と勾配の流れの改善を目的に、エンコーダ・デコーダ型U-Netバックボーンに残差ブロック（ResBlocks）を統合する。
• エンコーダとデコーダの間にハイブリッドアテンションブロック（HABs）を挿入し、チャネルおよび空間アテンションに基づいて低レベル特徴と高レベル特徴を動的に重み付け統合する。
• HABsは、特徴マップの再キャリブレーションにsqueeze-and-excitation機構を用い、亀裂に関連するチャネルや空間領域に注目する。
• 軽量版のRHA-Net*は、標準的な畳み込みを深度可分畳み込みに置き換えることで、モデルパラメータとFLOPsを大幅に削減する。
• モデルは、実際のキャンパス道路環境下で自作のモバイルロボットを用いて収集した789枚の舗装亀裂画像から構築したカスタムデータセット上で学習・評価された。
• リアルタイムデプロイの有効性は、Jetson TX2組み込みデバイス上で検証され、25 FPSの推論速度を達成した。

実験結果

リサーチクエスチョン

• RQ1 残差ブロックとハイブリッドアテンションメカニズムの統合が、標準的なU-Netアーキテクチャと比較して、亀裂セグメンテーション精度を顕著に向上させるか？
• RQ2 ハイブリッドアテンションメカニズムは、微細な亀裂の検出を向上させるために、低レベル特徴と高レベル特徴を効果的に統合できるか？
• RQ3 深度可分畳み込みを用いることで、モデルの複雑さをどの程度低減できるか、同時に高いセグメンテーション性能を維持できるか？
• RQ4 軽量版のRHA-Net*は、精度を損なわず、組み込みハードウェア上でリアルタイム推論を達成できるか？
• RQ5 複雑な背景（影、ごみ、マークイングなど）を有する現実世界の舗装画像において、モデルの性能はいかがなものか？

主な発見

• RHA-Netは、全4つのデータセットにおいて、比較対象モデルすべてより高いF1スコアを達成し、優れたセグメンテーション精度を示した。
• アブレーションスタディの結果、残差ブロックとハイブリッドアテンションメカニズムの両方が性能向上に顕著な貢献をしていることが確認され、特にHABsが微小亀裂の特徴表現を向上させた。
• RHA-Net*は、RHA-Netと比較して、モデルパラメータを0.57 MB（65.86%削減）およびFLOPsを9.68 GFLOPs（55.18%削減）にまで削減しながら、高い精度を維持した。
• RHA-Net*は、Jetson TX2組み込みデバイス上で約25 FPSのリアルタイム推論を達成し、U-Netを2倍以上上回る速度性能を示した。
• モデルは、実環境下の複雑な背景（葉、水アズキ、影など）にもかかわらず、粗大な亀裂および微細な亀裂を効果的にセグメンテーションしたが、誤検出は最小限に抑えられた。
• 複雑なトポロジーを持つ亀裂や、画像境界付近の亀裂の検出には、まだ限界が残っており、特に運動歪みや不均一な照度下では困難が伴う。