[論文レビュー] Automated Steel Bar Counting and Center Localization with Convolutional Neural Networks

Zhun Fan, Jiewei Lu+5 more|arXiv (Cornell University)|Jun 3, 2019

Industrial Vision Systems and Defect Detection参考文献 35被引用数 10

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）を用いて候補となる鋼鉄バー中心点を検出する段階と、新しい距離クラスタリング（DC）アルゴリズムを用いて真の中心点を正確に局所化しバー数を数える二段階のディーブラーニングフレームワークであるCNN-DCを提案する。本手法は、独自に構築した鋼鉄バー画像データセット上で99.26%のカウント精度と4.11%の中心点局所化オフセットを達成し、複雑な産業環境下でも高い性能を示している。

ABSTRACT

Automated steel bar counting and center localization plays an important role in the factory automation of steel bars. Traditional methods only focus on steel bar counting and their performances are often limited by complex industrial environments. Convolutional neural network (CNN), which has great capability to deal with complex tasks in challenging environments, is applied in this work. A framework called CNN-DC is proposed to achieve automated steel bar counting and center localization simultaneously. The proposed framework CNN-DC first detects the candidate center points with a deep CNN. Then an effective clustering algorithm named as Distance Clustering(DC) is proposed to cluster the candidate center points and locate the true centers of steel bars. The proposed CNN-DC can achieve 99.26% accuracy for steel bar counting and 4.1% center offset for center localization on the established steel bar dataset, which demonstrates that the proposed CNN-DC can perform well on automated steel bar counting and center localization. Code is made publicly available at: https://github.com/BenzhangQiu/Steel-bar-Detection.

研究の動機と目的

• ノイズに敏感で手動によるパrameterチューニングを要する従来の鋼鉄バーのカウントおよび中心点局所化手法の限界を克服すること。
• 実際の工場環境に適した、自動的でエンドツーエンドの鋼鉄バーのカウントおよび中心点局所化ソリューションを構築すること。
• 産業現場で一般的な照度の変動、エッジのぼやけ、環境的要因による干渉に対して高い耐性を持つこと。
• 各鋼鉄バーの中心点を正確に特定することで、名札溶接の正確な実行を可能にすること。
• 再現可能性および今後の研究を促進するため、公開可能なコードベースを提供すること。

提案手法

• 空間的特徴の学習を活用して潜在的な中心点を検出するため、畳み込みニューラルネットワーク（CNN）を用いて鋼鉄バー画像から候補となる中心点を予測する。
• 距離クラスタリング（DC）アルゴリズムは、空間的近接性に基づいて候補点をクラスタリングし、距離閾値を用いて同一バーに属する点をグループ化する。
• クラスタ数が鋼鉄バーの数に対応し、各クラスタの重心がバーの局所化された中心点を示す。
• フレームワークは、実際の産業環境下で収集された独自の鋼鉄バー画像データセットを用いて訓練および評価された。
• スライド（stride）や距離閾値（th_d）などのハイパーパrameterは、訓練データ上でアブレーションスタディを実施し、精度と推論速度のバランスを最適化する。
• モデルの推論時間は1枚あたり3.5862秒であり、ネットワークバイナリゼーションやプルーニングなどの技術を用いることで高速化が期待できる。

実験結果

リサーチクエスチョン

• RQ1 複雑な産業用画像において、ディーブラーニングCNNは鋼鉄バーの候補中心点を効果的に検出できるか？
• RQ2 ノイズや画像歪みが存在する中でも、提案された距離クラスタリング（DC）アルゴリズムは、候補点を真のバー中心点に正確にグループ化できるか？
• RQ3 従来の画像処理手法と比較して、CNN-DCはカウント精度および中心点局所化の精度において優れているか？
• RQ4 精度と計算効率のトレードオフを最適化するためのハイパーパrameter設定（スライド、th_d）は何か？
• RQ5 照度の変動、ぼやけ、部分的遮蔽が生じる実際の工場環境にも、本フレームワークは一般化可能か？

主な発見

• CNN-DCは鋼鉄バーのカウントで99.26%の精度を達成し、Zhangら（94.69%）やLiuら（80.99%）といった既存手法を顕著に上回っている。
• 中心点局所化のオフセットは4.11%であり、他の手法が報告する10.30%～25.58%のオフセットと比較して顕著に低い。
• 視覚的比較により、環境的要因、照度の変動、エッジのぼやけに対して高い耐性を示していることが確認された。
• 最適なハイパーパrameterは、アブレーションスタディによりstride = 6およびth_d = 20と特定され、精度と推論時間のバランスを最適化した。
• F1スコア（0.9963）と精度（0.9976）がともに高く維持されており、RecallとPrecisionの両面で優れた性能を示している。
• 推論時間は3.5862秒/枚とやや高いが、バイナリゼーションやプルーニングなどのモデル高速化技術を用いることで低減が期待される。