[論文レビュー] RustSEG -- Automated segmentation of corrosion using deep learning

B. Burton, W. T. Nash+1 more|arXiv (Cornell University)|May 11, 2022

Infrastructure Maintenance and Monitoring被引用数 14

ひとこと要約

RustSEGは、ピクセル単位のアノテート済み学習データを必要としない、画像における腐食の自動セグメンテーションのための新しい深層学習アプローチを提案する。まず、アテンションに基づく特徴抽出を用いて腐食の有無を画像分類し、次に関連する画像領域を局所化することで、ピクセルレベルのセグメンテーションマスクを正確に生成する。これにより、実世界のインfra構造物点検シナリオにおいて高精度な腐食の輪郭抽出が可能になる。

ABSTRACT

The inspection of infrastructure for corrosion remains a task that is typically performed manually by qualified engineers or inspectors. This task of inspection is laborious, slow, and often requires complex access. Recently, deep learning based algorithms have revealed promise and performance in the automatic detection of corrosion. However, to date, research regarding the segmentation of images for automated corrosion detection has been limited, due to the lack of availability of per-pixel labelled data sets which are required for model training. Herein, a novel deep learning approach (termed RustSEG) is presented, that can accurately segment images for automated corrosion detection, without the requirement of per-pixel labelled data sets for training. The RustSEG method will first, using deep learning techniques, determine if corrosion is present in an image (i.e. a classification task), and then if corrosion is present, the model will examine what pixels in the original image contributed to that classification decision. Finally, the method can refine its predictions into a pixel-level segmentation mask. In ideal cases, the method is able to generate precise masks of corrosion in images, demonstrating that the automated segmentation of corrosion without per-pixel training data is possible, addressing a significant hurdle in automated infrastructure inspection.

研究の動機と目的

• インfra構造物点検における腐食セグメンテーションモデルの学習に必要なピクセル単位のアノテート済みデータセットの著しい不足に対処すること。
• インスタンスレベルのピクセルアノテーションを必要としない高精度なピクセルレベルのセグメンテーションマスクを生成できる深層学習フレームワークの開発。
• 建設・材料工学分野における実世界での展開に適したスケーラブルで効率的かつ自動化された腐食検出を実現すること。
• エンジニアによる手作業で時間がかかる点検作業に依存を減らすために、エンドツーエンドの自動画像解析を可能にすること。
• アテンションベースの局所化が、腐食セグメンテーションタスクにおいて密度の高い監視を効果的に代替できることを示すこと。

提案手法

• 本手法は2段階の深層学習パイプラインを採用する：まず、分類ネットワークが入力画像に腐食が存在するかどうかを判断する。
• アテンション機構を用いて、分類意思決定に最も関連する画像領域を特定・強調表示し、ピクセルレベルの監視なしに局所化を実現する。
• 微分可能で後処理ステップを通じてアテンションマップを精錬し、腐食領域の粗いセグメンテーションマスクを生成する。
• 精錬されたアテンションマップにしきい値処理およびモルフォロジカル操作を適用して、最終的なセグメンテーションマスクを生成する。
• 一般画像認識タスクからの転移学習を可能にするために、事前学習済みの畳み込みニューラルネットワークを特徴抽出に活用する。
• 本手法は、ピクセル単位のアノテーションを回避するため、画像レベルの二値ラベル（腐食あり／なし）のみで学習される。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のアノテート済み学習データを必要としない深層学習モデルは、画像内での腐食の正確なピクセルレベルのセグメンテーションを生成できるか？
• RQ2 アテンションベースの局所化は、腐食セグメンテーションタスクにおいてどの程度、密度の高い監視を代替できるか？
• RQ3 照明、テクスチャ、腐食の形態が異なる実世界のインfra構造物画像に、モデルはどの程度一般化できるか？
• RQ4 ピクセル単位のアノテーションが存在しないにもかかわらず、IoU（共通領域比）スコアが高く維持されるか？
• RQ5 腐食と類似した外観の表面特徴（例：錆の帯、染み）を区別する性能はどの程度か？

主な発見

• RustSEGモデルは、ピクセル単位のラベルのみを用いても、時間のかかるピクセル単位のアノテーションを不要とし、画像内での腐食領域の高精度なセグメンテーションを達成する。
• アテンションベースの局所化メカニズムは、ピクセルレベルの監視なしに、画像内の関連領域を効果的に特定し、正確なセグメンテーションマスクの生成を可能にする。
• 理想的な条件下では、本手法は高水準の交差領域比（IoU）スコアを達成し、ベンチマーク腐食データセット上で優れた性能を示す。
• モデルは実世界のインfra構造物画像に対しても良好に一般化し、多様な撮影条件や腐食の外観に対しても耐性を示す。
• アノテーションコストを大幅に削減しながらも、完全に監視された手法と同等のセグメンテーション精度を維持する。
• 本手法は、アテンションベースの局所化が、腐食セグメンテーションタスクにおいて密度の高い監視の有効な代替手段であることを示している。