[論文レビュー] Pavementscapes: a large-scale hierarchical image dataset for asphalt pavement damage segmentation

Tong Zheng, Tao Ma+2 more|arXiv (Cornell University)|Jul 24, 2022

Infrastructure Maintenance and Monitoring被引用数 5

ひとこと要約

本稿では、4,000枚の高解像度（1024×2048）アスファルト舗装画像と、6つの損傷クラスにわたる画像、ブロック、ピクセルレベルでのラベル付けがなされた8,680件の損傷インスタンスを含む大規模な階層的データセット「Pavementscapes」を紹介する。研究では最先端の深層学習モデルの性能を評価し、アテンションベースのネットワークが畳み込みネットワークを上回ることを示した。また、小規模な損傷のセグメンテーション、クラス不均衡、モデルの過信といった主な課題を特定し、今後の舗装損傷セグメンテーション研究のためのベースラインと解決策を提示した。

ABSTRACT

Pavement damage segmentation has benefited enormously from deep learning. % and large-scale datasets. However, few current public datasets limit the potential exploration of deep learning in the application of pavement damage segmentation. To address this problem, this study has proposed Pavementscapes, a large-scale dataset to develop and evaluate methods for pavement damage segmentation. Pavementscapes is comprised of 4,000 images with a resolution of $1024 imes 2048$, which have been recorded in the real-world pavement inspection projects with 15 different pavements. A total of 8,680 damage instances are manually labeled with six damage classes at the pixel level. The statistical study gives a thorough investigation and analysis of the proposed dataset. The numeral experiments propose the top-performing deep neural networks capable of segmenting pavement damages, which provides the baselines of the open challenge for pavement inspection. The experiment results also indicate the existing problems for damage segmentation using deep learning, and this study provides potential solutions.

研究の動機と目的

• 深層学習研究におけるアスファルト舗装損傷セグメンテーションのための、大規模かつ公開可能なデータセットの不足に対処すること。
• 画像、ブロック、ピクセルの3段階のアノテーションと、非アイcon的視点を含む多様な視点を有する包括的で現実世界に即したデータセットの構築。
• 提案されたデータセットを用いて、最先端の深層ニューラルネットワークの舗装損傷セグメンテーションにおける性能ベースラインを確立すること。
• 小規模な損傷の検出、クラス不均衡、モデルの過信といった、深層学習における舗装損傷セグメンテーションの継続的な課題を同定すること。
• 今後のモデル開発のための実行可能な解決策、例えばアテンション機構、マーフォロジーに基づく損失関数、不確実性を考慮したネットワークを提供すること。

提案手法

• データセットは、中国の15種類の異なる舗装タイプにおける実際の舗装点検プロジェクトから収集され、現実世界の関連性と多様性を確保した。
• 各画像は3段階のラベル付けがなされた：画像レベル（損傷カテゴリの有無）、ブロックレベル（バウンディングボックス）、ピクセルレベル（6つの損傷クラスのセマンティックセグメンテーションマスク）。
• 非アイコン的視点（例：部分的遮蔽、ごみだらけの背景）を含むことで、現実世界の点検の複雑さを反映し、モデルのロバストネスを向上させた。
• 畳み込みニューラルネットワーク（CNNs）とアテンションベースのアーキテクチャの両方を含む最先端の深層学習モデルを、このデータセット上で学習および評価した。
• 特に不足しているクラス（例：ひびわれ）に対して有効であるとされる、Dice損失やフォーカル損失などの高度な損失関数を評価した。
• Dempster-Shafer理論に基づく不確実性を考慮したネットワークを検討し、予測におけるモデルの過信を軽減した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ現実世界のデータセット上で、アテンションベースの深層ニューラルネットワークは、従来のCNNと比較して、アスファルト舗装損傷のセグメンテーションでどの程度優れた性能を示すか？
• RQ2 クラス不均衡と小規模な損傷インスタンスは、舗装損傷セグメンテーションにおける深層学習モデルの一般化性能をどの程度妨げるか？
• RQ3 マーフォロジーに配慮した損失関数（例：Dice損失、フォーカル損失）は、Pavementscapesのような不均衡なデータセットにおいて、セグメンテーション性能を効果的に向上させることができるか？
• RQ4 非アイコン的視点（例：部分的遮蔽、ごみだらけの背景）は、深層学習モデルの性能にどのような影響を及ぼすか？また、このような変動に耐性を持つモデルを構築できるか？
• RQ5 不確実性を考慮したネットワークは、舗装損傷セグメンテーションタスクにおけるモデルの過信を軽減し、信頼性を向上させることができるか？

主な発見

• Pavementscapesデータセットには、4,000枚の高解像度（1024×2048）の舗装画像と、6つの損傷クラスにわたる3段階の詳細度でのラベル付けがなされた8,680件の損傷インスタンスが含まれており、これは現在までに公開されている中で最大かつ最も包括的な舗装損傷セグメンテーションデータセットである。
• アテンションベースの深層ニューラルネットワークが、標準的な畳み込みネットワークを上回る性能を示した。これは、今後の舗装損傷セグメンテーションモデル開発における有望な新たな方向性を示唆している。
• データセットは、損傷タイプの現実的な分布を示しており、非アイコン的視点が多数含まれているため、現実世界への適用における代表性和、挑戦性が高まっている。
• 小規模な損傷インスタンスは依然として正確にセグメンテーションすることが困難であり、微細な欠陥の局所化を向上させるための、より優れたアテンション機構や特徴工学的アプローチの必要性が示された。
• クラス不均衡（特に背景ピクセルの優位性とひびわれピクセルの不足）はモデル性能に顕著な影響を及ぼしており、Dice損失やフォーカル損失のようなマーフォロジーに基づく損失関数が、この問題の緩和に有効であることが確認された。
• 深層ニューラルネットワークは、特にレアクラスに対して過信しやすく、Dempster-Shafer理論に基づく証拠の深層学習を用いた不確実性を考慮したフレームワークは、この過信を軽減し、モデルのキャリブレーションを改善するのに役立つ。