[논문 리뷰] Sewer-ML: A Multi-Label Sewer Defect Classification Dataset and Benchmark

Joakim Bruslund Haurum, Thomas B. Moeslund|arXiv (Cornell University)|2021. 03. 19.

Infrastructure Maintenance and Monitoring참고 문헌 87인용 수 84

한 줄 요약

tldr: Sewer-ML을 소개합니다. 공개적으로 이용 가능한 다라벨 세워 망하자리(??) 데이터 세트 1.3백만 이미지와 벤치마크, 평가를 위한 새로운 클래스 중요도 가중 F2 지표(F2_CIW)를 제공합니다.

ABSTRACT

Perhaps surprisingly sewerage infrastructure is one of the most costly infrastructures in modern society. Sewer pipes are manually inspected to determine whether the pipes are defective. However, this process is limited by the number of qualified inspectors and the time it takes to inspect a pipe. Automatization of this process is therefore of high interest. So far, the success of computer vision approaches for sewer defect classification has been limited when compared to the success in other fields mainly due to the lack of public datasets. To this end, in this work we present a large novel and publicly available multi-label classification dataset for image-based sewer defect classification called Sewer-ML. The Sewer-ML dataset consists of 1.3 million images annotated by professional sewer inspectors from three different utility companies across nine years. Together with the dataset, we also present a benchmark algorithm and a novel metric for assessing performance. The benchmark algorithm is a result of evaluating 12 state-of-the-art algorithms, six from the sewer defect classification domain and six from the multi-label classification domain, and combining the best performing algorithms. The novel metric is a class-importance weighted F2 score, $\ ext{F}2_{\ ext{CIW}}$, reflecting the economic impact of each class, used together with the normal pipe F1 score, $\ ext{F}1_{\ ext{Normal}}$. The benchmark algorithm achieves an $\ ext{F}2_{\ ext{CIW}}$ score of 55.11% and $\ ext{F}1_{\ ext{Normal}}$ score of 90.94%, leaving ample room for improvement on the Sewer-ML dataset. The code, models, and dataset are available at the project page https://vap.aau.dk/sewer-ml/

연구 동기 및 목표

• 공개적으로 이용 가능하고 전문 검사원이 주석한 대규모 다라벨 하수구 결함 데이터 세트를 제공한다.
• Sewer-ML에서 첨단 방법을 평가하여 공정하고 재현 가능한 벤치마킹을 가능하게 한다.
• 경제적 영향에 따른 클래스 중요도를 반영하는 새로운 평가 지표(F2_CIW)을 제안한다.
• 하수도 도메인과 일반 다라벨 분류의 통찰을 결합한 벤치마크 알고리즘을 개발한다.
• 클래스별 성능을 분석하고 결함 탐지에서 개선의 우선순위를 식별한다.

제안 방법

• 세 가지 공공 utlity 회사(2011–2019)의 75,618개 주석 비디오에서 1.3백만 이미지 수집 및 주석화.
• 관로에서 0.3미터 뒤로, 1.0미터 앞으로의 주석을 종합하여 다라벨 기준을 정의한다.
• 결함의 표준기반 경제적 영향에서 도출된 클래스 중요도 가중치(CIW)를 도입한다.
• 12개의 최첨단 방법을 평가(하수도 도메인 6개, 일반 다라벨 6개)하고 최적 성능 구성요소를 벤치마크 알고리즘에 결합한다.
• 공통 학습 프로토콜로 엔드투엔드 및 2단계 분류기를 학습시키고 역빈도 가중치를 적용한 클래스 균형 손실을 사용한다.
• F2_CIW 지표를 제안하고 정상 파이프의 F1_Normal을 보고하여 결함 구분과 부재 처리 모두를 평가한다.

실험 결과

연구 질문

• RQ1 Sewer-ML 데이터세트의 규모와 구성은 어떠하며 다라벨 기준은 하수도 검사 비디오에서 어떻게 구성되는가?
• RQ2 Sewer-ML에서 하수구 결함 분류의 최첨단 방법과 일반 다라벨 분류의 방법은 어떤 성능을 보이는가?
• RQ3 F2 점수에 클래스 중요도(CIW)를 도입하면 어떤 영향이 있으며 제안된 F2_CIW 지표는 클래스 간에 어떻게 작동하는가?
• RQ4 엔드투엔드와 2단계 접근을 결합한 벤치마크 알고리즘이 Sewer-ML에서 개별 모델보다 성능이 더 좋은가?
• RQ5 가장 어려운 결함 클래스는 무엇이며 클래스별 성능은 경제적 영향과 어떻게 관련되는가?

주요 결과

• 벤치마크 알고리즘(2단계 Xie et al.의 1단계와 TResNet-L 사용)이 F2_CIW 55.11%와 F1_Normal 90.94%를 달성했다.
• 일반 도메인 다라벨 모델(TResNet-L 등)은 대부분의 경우 하수도 도메인 모델보다 더 높은 F2_CIW를 달성하며 검증 세트에서 F2_CIW 54.75%를 기록했다.
• 엔드투엔드 방법은 특정 결함 클래스 예측에 유리한 반면, 2단계 접근은 어떤 결함 클래스가 존재하는지 판단하는 데 유리하다.
• Sewer-ML 데이터세트는 17개 주석된 클래스에 걸쳐 1.3M 이미지와 690,722개의 정상 관찰, 609,479개의 결함 관찰을 포함한다.
• CIW 기반 가중치는 일부 고영향 클래스의 F2 점수가 낮은 것을 보여 주며, 경제적으로 중요한 결함의 개선 여지가 있음을 시사한다.
• 클래스별 분석에서 고 CIW를 가진 OS 및 RB 클래스가 점수가 낮은 편에 속하며, 이들에 대한 표적 개선이 상당한 이점을 가져올 수 있음을 시사한다.