[論文レビュー] Integrated Neural Network and Machine Vision Approach For Leather Defect Classification

Sze‐Teng Liong, Y.S. Gan+3 more|arXiv (Cornell University)|May 28, 2019

Industrial Vision Systems and Defect Detection参考文献 17被引用数 13

ひとこと要約

本稿では、子牛の皮革に生じるチックバイト欠陏の自動分類を目的とした、統合的マシンビジョンとニューラルネットワークの手法を提案する。手作業で設計された特徴量（エッジ検出器と統計的記述子）と人工ニューラルネットワーク（ANN）を組み合わせ、ApproxCannyエッジ検出器と50ニューロンの隠れ層を持つネットワークを用いた75/25の訓練・テスト分割で、分類精度82.49％を達成した。

ABSTRACT

Leather is a type of natural, durable, flexible, soft, supple and pliable material with smooth texture. It is commonly used as a raw material to manufacture luxury consumer goods for high-end customers. To ensure good quality control on the leather products, one of the critical processes is the visual inspection step to spot the random defects on the leather surfaces and it is usually conducted by experienced experts. This paper presents an automatic mechanism to perform the leather defect classification. In particular, we focus on detecting tick-bite defects on a specific type of calf leather. Both the handcrafted feature extractors (i.e., edge detectors and statistical approach) and data-driven (i.e., artificial neural network) methods are utilized to represent the leather patches. Then, multiple classifiers (i.e., decision trees, Support Vector Machines, nearest neighbour and ensemble classifiers) are exploited to determine whether the test sample patches contain defective segments. Using the proposed method, we managed to get a classification accuracy rate of 84% from a sample of approximately 2500 pieces of 400 * 400 leather patches.

研究の動機と目的

• 手作業による検査に依存するのを減らすために、チックバイト欠陏を自動的に検出できる視覚ベースのシステムを開発すること。
• 手作業で設計された特徴量（エッジ検出器、統計的記述子）とデータ駆動型手法（ANN）を組み合わせた場合の欠陏分類の有効性を評価すること。
• 複数の分類器（例：SVM、k-NN、意思決定木）を比較し、欠陏検出に最適な構成を同定すること。
• 2,500枚の皮革パッチからなる実世界のデータセット（正解ラベル付き）を用いて、手法の妥当性を検証すること。

提案手法

• 400×400の皮革パッチから、テクスチャおよび境界特徴を抽出するためにエッジ検出器（Canny、Prewitt、Sobel、Roberts、LoG、ApproxCanny）を適用する。
• パッチ内の局所的な強度および勾配パターンを捉えるために、統計的特徴抽出器（HPIV、HOG、LBP）を用いる。
• 抽出された特徴量を、バックプロパゲーションで学習する単一隠れ層を持つ人工ニューラルネットワーク（ANN）に供給する。
• 二値分類（欠陏あり vs. 欠陏なし）のための複数の分類器（SVM、k-NN、意思決定木、アンサンブル手法）を評価する。
• ApproxCanny + ANNモデルの評価には5分割交差検証を用い、性能評価には75/25の訓練・テスト分割を用いる。
• 訓練およびテスト段階での二値分類器の性能を評価するために受信者操作特性（ROC）曲線を生成する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された特徴量とニューラルネットワークの組み合わせは、子牛の皮革におけるチックバイト欠陏を効果的に分類できるか？
• RQ2 隠れニューロン数や訓練・テストデータの分割割合を変更した場合、ANNモデルの性能はどのように変化するか？
• RQ3 異なるエッジ検出器と統計的記述子は、欠陏検出における特徴量の関連性において、どのように比較されるか？
• RQ4 非欠陏サンプルが80％を占めるクラス不均衡の影響は、分類器の性能にどのような影響を与えるか？

主な発見

• 最高の分類精度は、ApproxCannyエッジ検出器と隠れ層に50ニューロンを持つANNを用いた75/25の訓練・テスト分割で82.49％を記録した。
• ANNモデルの混同行列は、真陰性が478例、真陽性が12例を示しており、非欠陏サンプルに対する高い性能を示している。
• ApproxCannyベースのモデルは5分割交差検証で83.5％の精度を達成し、真陰性が1,836例、真陽性が147例であった。
• 訓練およびテストフェーズにおけるROC曲線は、高い真正陽性率と低い偽陽性率を示しており、良好な一般化性能を示している。
• 本手法は、子牛の皮革における実世界のばらつきに対処できる点を除き、類似した欠陏検出タスクにおける従来手法を上回った。
• 本研究では、手作業で設計された特徴量とデータ駆動型モデルを統合することで、単独での手法に比べて欠陏分類精度が向上することを確認した。