[論文レビュー] Sewer-ML: A Multi-Label Sewer Defect Classification Dataset and Benchmark

Joakim Bruslund Haurum, Thomas B. Moeslund|arXiv (Cornell University)|Mar 19, 2021

Infrastructure Maintenance and Monitoring参考文献 87被引用数 84

ひとこと要約

Sewer-MLを紹介、公に公開されたマルチラベルの下水道欠陥データセットで1.3百万画像、ベンチマークと評価用の新規クラス重要度加重F2指標（F2_CIW）を提供。

ABSTRACT

Perhaps surprisingly sewerage infrastructure is one of the most costly infrastructures in modern society. Sewer pipes are manually inspected to determine whether the pipes are defective. However, this process is limited by the number of qualified inspectors and the time it takes to inspect a pipe. Automatization of this process is therefore of high interest. So far, the success of computer vision approaches for sewer defect classification has been limited when compared to the success in other fields mainly due to the lack of public datasets. To this end, in this work we present a large novel and publicly available multi-label classification dataset for image-based sewer defect classification called Sewer-ML. The Sewer-ML dataset consists of 1.3 million images annotated by professional sewer inspectors from three different utility companies across nine years. Together with the dataset, we also present a benchmark algorithm and a novel metric for assessing performance. The benchmark algorithm is a result of evaluating 12 state-of-the-art algorithms, six from the sewer defect classification domain and six from the multi-label classification domain, and combining the best performing algorithms. The novel metric is a class-importance weighted F2 score, $\ ext{F}2_{\ ext{CIW}}$, reflecting the economic impact of each class, used together with the normal pipe F1 score, $\ ext{F}1_{\ ext{Normal}}$. The benchmark algorithm achieves an $\ ext{F}2_{\ ext{CIW}}$ score of 55.11% and $\ ext{F}1_{\ ext{Normal}}$ score of 90.94%, leaving ample room for improvement on the Sewer-ML dataset. The code, models, and dataset are available at the project page https://vap.aau.dk/sewer-ml/

研究の動機と目的

• 公に利用可能な、専門検査員によって注釈付けされた大規模なマルチラベル下水道欠陥データセットを提供する。
• Sewer-MLで最先端手法を評価して、公正で再現可能なベンチマークを可能にする。
• クラスの重要度を経済的影響で重みづけする新規評価指標（F2_CIW）を提案する。
• 下水道領域と一般的なマルチラベル分類の知見を組み合わせたベンチマークアルゴリズムを開発する。
• クラス別の性能を分析し、欠陥検出の改善に向けた優先ターゲットを特定する。

提案手法

• 3つの公用事業者（2011–2019）にまたがる75,618本の注釈付きビデオから1.3百万枚の画像を収集・注釈付けする。
• パイプ内で0.3メートル後方および1.0メートル前方の注釈を集約してマルチラベルのグラウンドトゥルースを定義する。
• 欠陥の標準ベースの経済的影響から導出されたクラス重要度重み（CIW）を導入する。
• 最先端の手法12件を評価する（下水道ドメイン6件、一般的なマルチラベル6件）し、最良の要素を組み合わせてベンチマークアルゴリズムを作成する。
• 共通の学習プロトコルでエンドツーエンドおよび2段階の分類器を訓練する。クラスバランス損失を逆頻度重み付けで採用する。
• F2_CIW指標を提案し、欠陥識別と欠如処理の両方を評価するために通常のパイプに対するF1_Normalを報告する。

実験結果

リサーチクエスチョン

• RQ1 Sewer-MLデータセットの規模と構成はどうなっており、どのようにして下水道検査ビデオからマルチラベルのグラウンドトゥルースを構築するのか。
• RQ2 Sewer-MLで下水道欠陥分類の最先端手法と一般的なマルチラベル分類の現状はどのような性能を示すのか。
• RQ3 CIWをF2スコアリングに組み込む影響はどのようで、提案されるF2_CIW指標はクラス間でどのように振る舞うのか。
• RQ4 エンドツーエンドと二段階アプローチを組み合わせたベンチマークアルゴリズムは、Sewer-ML上で個別モデルを上回ることができるのか。
• RQ5 どの欠陥クラスが最も難しく、クラス別性能は経済的影響とどのように関連しているのか。

主な発見

• ベンチマークアルゴリズム（二段階Xie et al.の第一段階をTResNet-Lとしたもの）はF2_CIWを55.11%、F1_Normalを90.94%達成。
• 一般領域のマルチラベルモデル（例: TResNet-L）は、ほとんどの場合、下水道ドメインモデルより高いF2_CIWを達成し、テストセットでF2_CIWが54.75%。
• エンドツーエンド法は特定の欠陥クラスを予測する際に優れることが多いが、二段階アプローチは欠陥クラスが存在するかを判定する点で優れる。
• Sewer-MLデータセットは、17の注釈付きクラスにまたがり、690,722の正常観測と609,479の欠陥観測を含む1.3M画像を含んでいる。
• CIWを用いた重み付けにより、影響の大きいクラスの中にはF2スコアが低いものがあり、経済的に重要な欠陥の改善余地を示している。
• クラス別分析は、ハイCIWのクラスOSとRBが低スコアの欠陥の中に含まれることを明らかにしており、そこへのターゲットを絞った改善がかなりの改善をもたらす可能性がある。