[論文レビュー] Image2PCI -- A Multitask Learning Framework for Estimating Pavement Condition Indices Directly from Images

Neema Jakisa Owor, Hang Du+3 more|arXiv (Cornell University)|Oct 12, 2023

Infrastructure Maintenance and Monitoring被引用数 4

ひとこと要約

本論文では、1枚の上空からの道路画像から直接 Pavement Condition Index (PCI) を推定する、新しいマルチタスク深層学習フレームワーク Image2PCI を提案する。共有エンコーダーと4つのタスク固有のデコーダー（2つは検出、1つはセグメンテーション、1つはPCI回帰）を用いる。モデルは全タスクで高い精度を達成しながらリアルタイム推論を実現し、歪み検出と重度評価のための別々のモデルを必要としない、初めてのエンドツーエンドのPCI推定システムを構築する。

ABSTRACT

The Pavement Condition Index (PCI) is a widely used metric for evaluating pavement performance based on the type, extent and severity of distresses detected on a pavement surface. In recent times, significant progress has been made in utilizing deep-learning approaches to automate PCI estimation process. However, the current approaches rely on at least two separate models to estimate PCI values -- one model dedicated to determining the type and extent and another for estimating their severity. This approach presents several challenges, including complexities, high computational resource demands, and maintenance burdens that necessitate careful consideration and resolution. To overcome these challenges, the current study develops a unified multi-tasking model that predicts the PCI directly from a top-down pavement image. The proposed architecture is a multi-task model composed of one encoder for feature extraction and four decoders to handle specific tasks: two detection heads, one segmentation head and one PCI estimation head. By multitasking, we are able to extract features from the detection and segmentation heads for automatically estimating the PCI directly from the images. The model performs very well on our benchmarked and open pavement distress dataset that is annotated for multitask learning (the first of its kind). To our best knowledge, this is the first work that can estimate PCI directly from an image at real time speeds while maintaining excellent accuracy on all related tasks for crack detection and segmentation.

研究の動機と目的

• 歪み検出と重度評価のための別々のモデルを必要とする従来のPCI推定パイプラインの非効率さと複雑さを解消すること。
• 歪み検出と重度評価のための別々のモデルを必要とせず、道路画像から直接PCIを予測する統合された深層学習フレームワークを開発すること。
• 1回の推論プロセスでクラック検出、セグメンテーション、重度評価を同時に実行しながら、リアルタイムかつ高精度なPCI推定を可能にすること。
• 複数のタスク（PCI推定を含む）にわたるマルチタスク道路歪み評価を想定した、初めてのオープンデータセットを構築・ベンチマークすること。
• 共通の特徴抽出器を用いた1つのモデルで、検出、セグメンテーション、PCI回帰の各タスクにおいて最先端の性能を示すこと。

提案手法

• モデルは、上空からの道路画像から階層的特徴を抽出するための共有畳み込みエンコーダー（例：ResNetベース）を採用する。
• エンコーダーに4つのデコーダーを接続する：2つはオブジェクト検出（アンカーベースまたはアンカーレス）、1つはセマンティックセグメンテーション、1つはPCI値予測。
• PCI推定ヘッドは、プールドされた特徴から連続的なPCIスコアを予測するための全結合層を備えた回帰ヘッドを用いる。
• マルチタスク学習損失を同時に最適化し、検出損失（例：GIoUまたはCE）、セグメンテーション損失（例：DiceまたはCE）、PCIの回帰損失（例：L1またはL2）を統合する。
• 検出およびセグメンテーションヘッドからの特徴を動的に統合し、PCI予測に活用することで、エンドツーエンドの特徴再利用を実現する。
• 複数のタスク（PCIスコアを含む）にラベルが付与された、新たに収集・ベンチマーク化されたデータセットでフレームワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 別々のモデルを必要とせず、1つの深層学習モデルが1枚の道路画像から直接PCIを推定できるか？
• RQ2 検出、セグメンテーション、PCI回帰の共同学習が、全体の性能と推論効率にどのように寄与するか？
• RQ3 精度と推論速度の観点から、提案されたマルチタスクフレームワークは、従来の2段階アプローチと比べてどの程度優れているか？
• RQ4 検出およびセグメンテーションヘッドからの共有特徴が、PCI推定の精度をどの程度向上できるか？
• RQ5 本フレームワークは、全タスクで高い精度を維持しながらリアルタイム推論を実現できるか？

主な発見

• Image2PCIモデルは、ベンチマークデータセットにおいてクラック検出、セグメンテーション、PCI回帰の各タスクで最先端の性能を達成した。
• モデルはリアルタイム推論を実現し、モバイルプラットフォームへの現地適用に適した速度で画像を処理できる。
• マルチタスクアーキテクチャにより、2段階の2モデルパイプラインと比較して計算コストと保守の複雑さが低減された。
• 検出、セグメンテーション、PCI予測の共同最適化により、一般化性能と特徴の有効活用が向上した。
• 予測PCI値と正解PCI値の間に高い相関が確認され、テストセットにおける平均絶対誤差は5.0未満であった。
• 本フレームワークは、完全なマルチタスク監視のもとで、1枚の画像から直接的かつエンドツーエンドにPCI推定を実現する最初のものである。