[논문 리뷰] Image2PCI -- A Multitask Learning Framework for Estimating Pavement Condition Indices Directly from Images

Neema Jakisa Owor, Hang Du외 3명|arXiv (Cornell University)|2023. 10. 12.

Infrastructure Maintenance and Monitoring인용 수 4

한 줄 요약

이 논문은 단일 상향 시점의 포장 이미지에서 직접 포장 상태 지수(PCI)를 추정하는 데 중점을 두고, 공유 인코더와 네 개의 작업별 디코더(두 개의 검출, 한 개의 분할, 한 개의 PCI 회귀)를 사용하는 새로운 다중 작업 딥러닝 프레임워크인 Image2PCI를 제안한다. 이 모델은 모든 작업에서 높은 정확도를 달성하면서 실시간 추론을 구현하여, 병렬 모델이 아닌 별도의 손상 검출 및 심각도 평가 모델이 필요 없는 최초의 종단 간 시스템이다.

ABSTRACT

The Pavement Condition Index (PCI) is a widely used metric for evaluating pavement performance based on the type, extent and severity of distresses detected on a pavement surface. In recent times, significant progress has been made in utilizing deep-learning approaches to automate PCI estimation process. However, the current approaches rely on at least two separate models to estimate PCI values -- one model dedicated to determining the type and extent and another for estimating their severity. This approach presents several challenges, including complexities, high computational resource demands, and maintenance burdens that necessitate careful consideration and resolution. To overcome these challenges, the current study develops a unified multi-tasking model that predicts the PCI directly from a top-down pavement image. The proposed architecture is a multi-task model composed of one encoder for feature extraction and four decoders to handle specific tasks: two detection heads, one segmentation head and one PCI estimation head. By multitasking, we are able to extract features from the detection and segmentation heads for automatically estimating the PCI directly from the images. The model performs very well on our benchmarked and open pavement distress dataset that is annotated for multitask learning (the first of its kind). To our best knowledge, this is the first work that can estimate PCI directly from an image at real time speeds while maintaining excellent accuracy on all related tasks for crack detection and segmentation.

연구 동기 및 목표

• 손상 검출 및 심각도 평가를 위한 별도의 모델에 의존하는 기존의 PCI 추정 파이프라인의 비효율성과 복잡성을 해결하기 위해.
• 손상 검출 및 심각도 평가 모델을 별도로 필요로 하지 않고, 포장 이미지에서 직접 PCI를 예측할 수 있는 통합된 딥러닝 프레임워크를 개발하기 위해.
• 단일 추론 단계 내에서 균열 검출, 분할 및 심각도 평가를 동시에 수행하면서 실시간으로 정확한 PCI 추정을 가능하게 하기 위해.
• 다중 작업 포장 손상 평가를 위한 첫 번째 오픈 데이터셋을 구축하고 기준을 설정하기 위해, PCI 추정을 포함한 여러 작업에 대한 레이블이 부여된 데이터셋을 제공하기 위해.
• 공유된 특징 추출기 하나를 사용하여 검출, 분할 및 PCI 회귀 작업 모두에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 모델은 상향 시점의 포장 이미지에서 계층적인 특징을 추출하기 위해 공유 컨볼루션 인코더(예: ResNet 기반)를 사용한다.
• 인코더에 네 개의 디코더가 연결된다: 두 개의 객체 검출을 위한 디코더(앵커타입 또는 앵커퍼의), 한 개의 세그멘테이션을 위한 디코더, 한 개의 PCI 값 예측을 위한 디코더.
• PCI 추정 헤드는 풀드된 특징에서 연속적인 PCI 점수를 예측하기 위해 완전 연결층을 사용하는 회귀 헤드를 포함한다.
• 다중 작업 학습 손실은 검출 손실(예: GIoU 또는 교차엔트로피), 분할 손실(예: Dice 또는 교차엔트로피), PCI 회귀 손실(예: L1 또는 L2)을 조합하여 동시에 최적화된다.
• 검출 및 분할 헤드에서 생성된 특징은 동적으로 집계되어 PCI 예측에 활용되며, 종단 간 특징 재사용이 가능해진다.
• 검출, 분할, PCI 예측을 위한 다중 작업 레이블이 부여된 새로 구축된 기준 데이터셋을 기반으로 프레임워크가 훈련된다.

실험 결과

연구 질문

• RQ1 검출 및 심각도 평가를 위한 별도의 모델이 필요 없이, 단일 딥러닝 모델이 단일 포장 이미지에서 직접 PCI를 추정할 수 있는가?
• RQ2 검출, 분할 및 PCI 회귀의 공동 학습이 전체 성능과 추론 효율성에 어떤 영향을 미치는가?
• RQ3 정확도와 추론 속도 측면에서 기존의 두 단계 파이프라인에 비해 제안된 다중 작업 프레임워크의 성능은 어떠한가?
• RQ4 검출 및 분할 헤드에서 유도된 공유 특징이 PCI 추정 정확도 향상에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 모든 작업에서 높은 정확도를 유지하면서도 실시간 추론이 가능한가?

주요 결과

• Image2PCI 모델은 기준 데이터셋에서 균열 검출, 분할 및 PCI 회귀 작업 모두에서 최신 기술 수준의 성능를 달성한다.
• 모델은 실시간 추론이 가능하여 모바일 플랫폼에 현장 적용 가능한 속도로 이미지를 처리할 수 있다.
• 다중 작업 아키텍처는 병렬 두 모델 파이프라인에 비해 계산 오버헤드와 유지보수 복잡성을 감소시킨다.
• 검출, 분할 및 PCI 예측의 공동 최적화는 일반화 능력 향상과 특징 활용 효율성 향상에 기여한다.
• 예측된 PCI 값과 진짜 PCI 값 간의 상관계수가 매우 높으며, 테스트 세트에서 평균 절대 오차(MAE)가 5.0 이하로 나타났다.
• 제안된 프레임워크는 단일 이미지에서 직접 종단 간 PCI 추정을 가능하게 하며, 전체 다중 작업 감독을 제공하는 최초의 시스템이다.