[論文レビュー] Rail-5k: a Real-World Dataset for Rail Surface Defects Detection

Zihao Zhang, Shaozuo Yu+3 more|arXiv (Cornell University)|Jun 28, 2021

Railway Engineering and Dynamics被引用数 8

ひとこと要約

Rail-5k は、13種類の欠陥タイプを1,100枚のインスタンスレベルで完全にアノテートされた、5,000枚の高品質なレール表面画像からなる実世界のデータセットであり、完全教師ありおよび半教師ありのオブジェクト検出におけるベンチマークを可能にする。このデータセットは、細分化された欠际クラス、長尾分布（不均衡比最大40.98）、および実世界の汚染を含むラベルなし画像を特徴とし、現実の条件下でビジョンモデルの評価に耐えうる堅牢なベンチマークを提供する。

ABSTRACT

This paper presents the Rail-5k dataset for benchmarking the performance of visual algorithms in a real-world application scenario, namely the rail surface defects detection task. We collected over 5k high-quality images from railways across China, and annotated 1100 images with the help from railway experts to identify the most common 13 types of rail defects. The dataset can be used for two settings both with unique challenges, the first is the fully-supervised setting using the 1k+ labeled images for training, fine-grained nature and long-tailed distribution of defect classes makes it hard for visual algorithms to tackle. The second is the semi-supervised learning setting facilitated by the 4k unlabeled images, these 4k images are uncurated containing possible image corruptions and domain shift with the labeled images, which can not be easily tackle by previous semi-supervised learning methods. We believe our dataset could be a valuable benchmark for evaluating robustness and reliability of visual algorithms.

研究の動機と目的

• コンピュータビジョン分野におけるレール表面欠际検出のための、大規模で高品質な実世界データセットが不足しているという問題に対処すること。
• 完全教師ありおよび半教師あり学習の両設定において、視覚的アルゴリズムを評価するためのベンチマークを提供すること。
• 長尾分布の不均衡とラベルなしデータにおける画像汚染を含む、現実のデータ分布に起因する課題を、既存の手法に提示すること。
• 産業的レール保守応用における、耐障害性・信頼性の高いモデルの開発を支援すること。
• 特に亀裂のようなテクスチャに類似した欠际に対する、細分化された欠际検出およびセグメンテーションに関する研究を可能にすること。

提案手法

• 中国の鉄道線路上で収集した5,000枚の高解像度RGBレール画像から成り、そのうち1,100枚が13種類の欠际タイプについてインスタンスレベルで完全にアノテートされている。
• 二段階のベンチマーク手法を採用：(1) 1,100枚のラベル付き画像を用いた完全教師あり検出、(2) 4,000枚の追加ラベルなし画像を用いた半教師あり検出。
• ImageNetで事前学習したYOLOv5-sを用い、YOLOv5リポジトリの標準ハイパーパramータを用いてラベル付きデータセットで微調整した。
• 検出モデルがその性質上、テクスチャに類似した欠际をうまく捉えられないことから、亀裂検出には、ResNet50バックボーンを搭載したDeepLabv3をセマンティックセグメンテーションに適用した。
• 半教師あり学習のため、完全教師ありモデルの予測結果に対して信頼度しきい値（s_thr ∈ {0.6, 0.7, 0.8, 0.9}）を適用し、4,000枚のラベルなし画像に仮ラベルを生成した。
• 標準指標を用いてモデルを評価：mAP@0.5:0.95、AP@0.5、精度、再現率、およびセグメンテーション用のIoU。

実験結果

リサーチクエスチョン

• RQ1 最先端のオブジェクト検出モデルは、細分化された、長尾分布および希少な欠际カテゴリを含む実世界のレール欠际検出データセット上で、どのように性能を発揮するか？
• RQ2 ラベルなしデータに実世界の汚染とドメインシフトが含まれる4,000枚のレール画像を、半教師あり学習手法が完全にラベル付きセットと比較して効果的に活用できるか？
• RQ3 検出モデルの性能は、亀裂のようなテクスチャに類似した欠际に対してどのように低下するか？ また、セグメンテーションベースのアプローチは、このようなクラスにおいて検出法を上回る性能を示せるか？
• RQ4 ラベルなしデータセットに存在する画像汚染が、半教師あり学習パイプラインの性能にどの程度悪影響を及えるか？
• RQ5 信頼度しきい値が、仮ラベルの品質および半教師ありレール欠际検出における下流モデルの精度に与える影響は何か？

主な発見

• ベースラインのYOLOv5-sモデルは、完全教師あり設定でmAP@0.5:0.95が90.6を達成し、Rail Surface（mAP 98.6）やContact Band（mAP 96.3）といった一般的な欠际に対して高い性能を示した。
• Spalling（mAP 58.9） や Grinding（mAP 24.1） といった希少欠际に対しては性能が著しく低く、長尾分布に起因する課題が顕著に現れた。
• YOLOv5による亀裂検出はほぼゼロの性能（mAP -、AP@0.5:0.95 -）を示し、検出モデルがテクスチャに類似した欠际を認識できないことを確認した。
• ResNet50バックボーンを搭載したDeepLabv3は、亀裂セグメンテーションで67.8%のIoUを達成し、検出法を大きく上回った。これは、テクスチャベースの欠际に対してセグメンテーションが優れていることを示している。
• 仮ラベルを用いた半教師あり微調整により、mAP@0.5はs_thr=0.6の63.29からs_thr=0.9の61.55に低下した。これは、ラベルなしデータに存在するノイズと汚染が性能を劣化させることを示している。
• 劣化が見られたものの、半教師ありベンチマークは依然として価値があり、現実のデータ分布シフトと汚染に起因するモデルの耐障害性を明らかにするのを支援している。