[論文レビュー] Surface Defect Detection and Evaluation for Marine Vessels using Multi-Stage Deep Learning

Yu Li, Kareem Metwaly+2 more|arXiv (Cornell University)|Mar 17, 2022

Structural Integrity and Reliability Analysis被引用数 4

ひとこと要約

本稿では、通常の写真を用いて、海洋船舶の表面欠陥検出および被覆率推定のためのマルチステージ深層学習フレームワークを提案する。システムは船体部のセグメンテーション、欠陥（腐食、剥離、生物付着）の検出、教師・生徒訓練と空間変換ネットワークを用いたマルチラベル分類ネットワークによる分類を実行し、新たに整備された大規模なデータセットにおいて、人間の検査者と同等の性能を達成した。

ABSTRACT

Detecting and evaluating surface coating defects is important for marine vessel maintenance. Currently, the assessment is carried out manually by qualified inspectors using international standards and their own experience. Automating the processes is highly challenging because of the high level of variation in vessel type, paint surface, coatings, lighting condition, weather condition, paint colors, areas of the vessel, and time in service. We present a novel deep learning-based pipeline to detect and evaluate the percentage of corrosion, fouling, and delamination on the vessel surface from normal photographs. We propose a multi-stage image processing framework, including ship section segmentation, defect segmentation, and defect classification, to automatically recognize different types of defects and measure the coverage percentage on the ship surface. Experimental results demonstrate that our proposed pipeline can objectively perform a similar assessment as a qualified inspector.

研究の動機と目的

• 海洋船舶の表面被覆欠陥を自動的かつ一貫的・客観的に検出・定量するシステムの開発。
• 従来のコンピュータビジョン手法が挑戦する、船種、被覆材、照明、環境条件の高さの変動を解消すること。
• 欠陥検出研究のための包括的で現実世界のアノテート済み海洋船舶画像データセットの作成。
• 人間の検査者と同等の欠陥評価精度を達成しながら、効率性と一貫性を向上させる深層学習パイプラインの設計。
• 異なる船体部（TS、BT、VS）における欠陥被覆率の正確な推定を可能にする。

提案手法

• フレームワークはマルチステージパイプラインを採用：船体部セグメンテーション、欠陥セグメンテーション、マルチラベル欠陥分類。
• 欠陥セグメンテーションには、粗い・不完全なアノテーションにおいても性能を向上させるために教師・生徒訓練方式を採用。
• 2つの検出ヘッドと空間変換ネットワーク（STNs）を備えたマルチラベル分類ネットワークを用いて、重複する欠陥を検出し、特徴抽出のための入力パッチを整列。
• 2次元欠陥マスクを各船体部ごとに1次元境界に変換することで、データ要件を削減し、被覆率推定の一貫性を向上。
• 生物学的付着が通常船底部に発生することなどのドメイン知識を、予測の精緻化のための後処理で活用。
• 本システムの学習および評価に用いるために、数100枚の手動アノテート済み海洋船舶画像からなる新規データセットを構築。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのシステムは、極めて変動の大きい撮影条件および環境条件下でも、人間と同等の精度で海洋船舶の表面欠陥を検出し、定量できるか？
• RQ2 腐食、剥離、生物付着などの重複欠陥を含む1枚の画像において、マルチステージ深層学習フレームワークは効果的に対処できるか？
• RQ3 海洋船舶画像における欠陥検出において、マルチラベル分類アプローチとマルチクラスアプローチの間で、性能にどのような差が生じるか？
• RQ4 ラベルが不完全または粗い場合に、教師・生徒訓練方式は、セグメンテーション性能をどのように向上させるか？
• RQ5 入力パッチの整列を特徴抽出の前に行うことで、空間変換ネットワーク（STNs）は欠陥検出性能を向上させられるか？

主な発見

• 提案されたマルチラベル分類アプローチは、バランス精度0.76、F1スコア0.72を達成し、マルチクラスアプローチ（バランス精度：0.54、F1スコア：0.63）を著しく上回った。
• マルチラベル分類とSTNsを組み合わせたDFE-NETモデルは、剥離など困難な欠陥においても、欠陥検出F1スコア0.82を達成し、優れた性能を示した。
• 教師・生徒訓練方式により、事前に訓練された教師モデルから生成された疑似ラベルを活用することで、欠陥セグメンテーション性能が向上した。
• 本システムは、船体部（TS、BT、VS）にわたり一貫性があり、客観的な欠陥被覆率推定を達成し、資格を持つ人間の検査者と同等の結果を得た。
• 各部のセグメンテーションごとに2次元マスクを1次元境界に変換することで、大量の訓練データの必要性を低減し、学習の効率性と一貫性を向上させた。
• 生物学的付着の位置に関するドメイン知識（例：船底部に発生）を後処理で統合することで、最終予測精度が向上した。今後の研究では、損失関数への統合の可能性も示唆された。