[論文レビュー] Automatic Defect Segmentation on Leather with Deep Learning

Sze‐Teng Liong, Y.S. Gan+3 more|arXiv (Cornell University)|Mar 28, 2019

Industrial Vision Systems and Defect Detection参考文献 19被引用数 37

ひとこと要約

この論文は、Mask R-CNN を用いた calf Leather の欠陥自動セグメンテーションを実現するエンドツーエンドのシステムを提案しており、ロボットによるデータ収集・グラウンドトゥルース注釈・欠陥マーク付けを含む。tick-bite 欠陥セグメンテーションの訓練精度は 91.5%、テスト精度は 70.35% に達する。

ABSTRACT

Leather is a natural and durable material created through a process of tanning of hides and skins of animals. The price of the leather is subjective as it is highly sensitive to its quality and surface defects condition. In the literature, there are very few works investigating on the defects detection for leather using automatic image processing techniques. The manual defect inspection process is essential in an leather production industry to control the quality of the finished products. However, it is tedious, as it is labour intensive, time consuming, causes eye fatigue and often prone to human error. In this paper, a fully automatic defect detection and marking system on a calf leather is proposed. The proposed system consists of a piece of leather, LED light, high resolution camera and a robot arm. Succinctly, a machine vision method is presented to identify the position of the defects on the leather using a deep learning architecture. Then, a series of processes are conducted to predict the defect instances, including elicitation of the leather images with a robot arm, train and test the images using a deep learning architecture and determination of the boundary of the defects using mathematical derivation of the geometry. Note that, all the processes do not involve human intervention, except for the defect ground truths construction stage. The proposed algorithm is capable to exhibit 91.5% segmentation accuracy on the train data and 70.35% on the test data. We also report confusion matrix, F1-score, precision and specificity, sensitivity performance metrics to further verify the effectiveness of the proposed approach.

研究の動機と目的

• 皮革の欠陥を自動かつ客観的に検出する動機付けを提供し、労働集約的な手動検査を置き換える。
• 皮革表面の欠陥を局在化してセグメンテーションするエンドツーエンドのシステムを開発する。
• セグメンテーションには深層学習を、データ収集と欠陥マーク付けにはロボットアームを活用する。
• グラウンドトゥルース注釈を提供し、標準的なセグメンテーション指標を用いて有効性を評価する。

提案手法

• 高解像度カメラと連続LED照明を備えた六軸ロボットアームを使用して、革の正面画像をトップダウンで取得する。
• 高解像度画像をリサイズせず、局所特徴学習のために400x400のパッチに分割する。
• オープンソースツールで欠陥境界を注釈付けし、ピクセルレベルのグラウンドトゥルースマスクを作成する。
• MS COCO で事前学習済みの Mask R-CNN（FPN と ResNet-101 バックボーン）を訓練し、革欠陥でファインチューニングする。
• 小さな欠陥領域をより検出できるように、RPN のアンカースケールを調整する。
• Mask R-CNN の出力を後処理して顕著な境界座標を抽出し、それを物理座標へマッピングしてロボットによるマーク付けに適用する。

実験結果

リサーチクエスチョン

• RQ1 Mask R-CNN は実務的な環境で calf leather の tick-bite 欠陥を正確に検出・セグメントできるか。
• RQ2 この欠陥タイプの訓練データと未知のテスト革画像に対するセグメンテーション性能はどうなるか。
• RQ3 境界座標を画像空間から実世界座標へ効率的に変換して自動マーク付けを実現できるか。
• RQ4 自動ホワイトチョークによるマーク付けを含むロボットシステムは、手動検査と比べて欠陥の可視化と追跡性を改善できるか。

主な発見

• 革欠陥データセットの訓練精度は 91.50% に達した。
• 未知の革画像に対するテスト精度は 70.35% に達した。
• テストセットの感度は 53.57%、特異度は 75.81% であり、欠陥領域より非欠陥領域をより多く正しく識別していることを示している。
• 欠陥クラスでの真陽性は 97、偽陰性は 104、非欠陥ケース全体で真陰性は 326、偽陽性は 65。
• グラウンドトゥルースの主張は、モデルが画像ごとに複数の欠陥を正しく特定したことを示しているが、テストでいくつかの欠陥が見落とされたり誤警報が出たりした。
• 境界最適化手法を用いて顕著な点（真空値 4 または 5）を多角形欠陥輪郭として選択し、Graham Scan を通じて凸境界を生成した。