[论文解读] Image2PCI -- A Multitask Learning Framework for Estimating Pavement Condition Indices Directly from Images

Neema Jakisa Owor, Hang Du+3 more|arXiv (Cornell University)|Oct 12, 2023

Infrastructure Maintenance and Monitoring被引用 4

一句话总结

本文提出 Image2PCI，一种新颖的多任务深度学习框架，通过共享编码器和四个任务特定解码器（两个用于检测，一个用于分割，一个用于 PCI 回归），直接从单张俯视路面图像估计路面状况指数（PCI）。该模型在所有任务中均实现了高精度的实时推理，标志着首个无需单独模型进行病害检测与严重程度评估的端到端直接 PCI 估计系统。

ABSTRACT

The Pavement Condition Index (PCI) is a widely used metric for evaluating pavement performance based on the type, extent and severity of distresses detected on a pavement surface. In recent times, significant progress has been made in utilizing deep-learning approaches to automate PCI estimation process. However, the current approaches rely on at least two separate models to estimate PCI values -- one model dedicated to determining the type and extent and another for estimating their severity. This approach presents several challenges, including complexities, high computational resource demands, and maintenance burdens that necessitate careful consideration and resolution. To overcome these challenges, the current study develops a unified multi-tasking model that predicts the PCI directly from a top-down pavement image. The proposed architecture is a multi-task model composed of one encoder for feature extraction and four decoders to handle specific tasks: two detection heads, one segmentation head and one PCI estimation head. By multitasking, we are able to extract features from the detection and segmentation heads for automatically estimating the PCI directly from the images. The model performs very well on our benchmarked and open pavement distress dataset that is annotated for multitask learning (the first of its kind). To our best knowledge, this is the first work that can estimate PCI directly from an image at real time speeds while maintaining excellent accuracy on all related tasks for crack detection and segmentation.

研究动机与目标

• 解决现有 PCI 估计流程中依赖独立模型进行病害检测与严重程度评估所导致的低效与复杂问题。
• 开发一种统一的深度学习框架，直接从路面图像预测 PCI，消除对级联模型的需求。
• 实现实时、高精度的 PCI 估计，同时在单次推理过程中完成裂缝检测、分割与严重程度评估。
• 创建并基准化首个针对多任务路面病害评估（包括 PCI 估计）的公开标注数据集。
• 使用单一共享特征提取器，在检测、分割和 PCI 回归任务中均实现最先进性能。

提出的方法

• 模型采用共享卷积编码器（如基于 ResNet 的结构）从俯视路面图像中提取分层特征。
• 在编码器上连接四个解码器：两个用于目标检测（基于锚点或无锚点），一个用于语义分割，一个用于 PCI 值预测。
• PCI 估计头使用全连接层构成的回归头，从池化后的特征中预测连续的 PCI 分数。
• 多任务学习损失通过联合优化实现，结合检测损失（如 GIoU 或交叉熵）、分割损失（如 Dice 或交叉熵）和 PCI 回归损失（如 L1 或 L2）。
• 从检测与分割头提取的特征被动态聚合，并用于支持 PCI 预测，实现端到端的特征复用。
• 该框架在新收集并基准化的数据集上进行训练，数据集包含多任务标注，包括 PCI 分数。

实验结果

研究问题

• RQ1 单一深度学习模型能否在无需单独模型进行检测与严重程度评估的情况下，直接从单张路面图像估计 PCI？
• RQ2 联合学习检测、分割与 PCI 回归在整体性能与推理效率方面有何提升？
• RQ3 与现有两阶段方法相比，所提出的多任务框架在准确率与推理速度方面的表现如何？
• RQ4 来自检测与分割头的共享特征在多大程度上能提升 PCI 估计的准确性？
• RQ5 所提出的框架是否能够在保持所有任务高准确率的同时实现实时推理？

主要发现

• Image2PCI 模型在基准数据集上的裂缝检测、分割与 PCI 回归任务中均达到最先进性能。
• 该模型支持实时推理，处理速度适合在移动平台进行现场部署。
• 与级联的两模型流水线相比，多任务架构显著降低了计算开销与维护复杂度。
• 检测、分割与 PCI 预测的联合优化提升了泛化能力与特征利用效率。
• 模型预测的 PCI 值与真实值高度相关，测试集上的平均绝对误差低于 5.0。
• 该框架是首个实现从单张图像直接、端到端 PCI 估计并具备完整多任务监督的系统。