[論文レビュー] A deep learning based solution for construction equipment detection: from development to deployment

Saeed Arabi, Arya Haghighat+1 more|arXiv (Cornell University)|Apr 18, 2019

Infrastructure Maintenance and Monitoring参考文献 47被引用数 15

ひとこと要約

本論文は、データセット準備およびYOLOベースのモデル学習から、最適化および組み込みシステムへのデプロイまでをカバーする包括的なディープラーニングパイプラインを提示する。低コストハードウェアでもリアルタイム推論を実現し、90%以上の精度を達成しており、建設現場における安全性と生産性の監視への実用的デプロイを検証している。

ABSTRACT

This paper aims at providing researchers and engineering professionals with a practical and comprehensive deep learning based solution to detect construction equipment from the very first step of its development to the last one which is deployment. This paper focuses on the last step of deployment. The first phase of solution development, involved data preparation, model selection, model training, and model evaluation. The second phase of the study comprises of model optimization, application specific embedded system selection, and economic analysis. Several embedded systems were proposed and compared. The review of the results confirms superior real-time performance of the solutions with a consistent above 90% rate of accuracy. The current study validates the practicality of deep learning based object detection solutions for construction scenarios. Moreover, the detailed knowledge, presented in this study, can be employed for several purposes such as, safety monitoring, productivity assessments, and managerial decisions.

研究の動機と目的

• 実世界の状況における建設機械の検出を実用的でエンドツーエンドのディープラーニングソリューションとして開発すること。
• 現場での建設監視に適したリソース制限のある組み込みシステムへのデプロイを想定した、トレーニング済みモデルの最適化。
• リアルタイムオブジェクト検出における、さまざまな組み込みプラットフォームの性能および経済的妥当性の評価。
• 建設現場における安全性の監視、生産性の評価、経営意思決定支援への応用を可能にすること。

提案手法

• 著者らは、リアルタイム推論を目的として、YOLOv2をオブジェクト検出アーキテクチャのベースとして使用している。
• モデルの汎化性能を向上させるために、建設現場の画像から作成したカスタムデータセットに対してデータオーグメンテーションおよびアノテーションを実施している。
• モデル最適化には、モデルサイズと推論遅延の低減を目的とした知識蒸留と量子化を含んでいる。
• 精度、速度、コストを基準に、複数の組み込みシステム（例：NVIDIA Jetson Nano、TX2、Raspberry Pi）を評価し、デプロイに適したものを選定している。
• 異なるハードウェアプラットフォーム間での総所有原価を比較するための体系的な経済分析を実施している。
• 最終的なシステムは、選定された組み込みプラットフォームにリアルタイム推論機能を備えてデプロイされている。

実験結果

リサーチクエスチョン

• RQ1 複雑な現場環境におけるリアルタイム建設機械検出に最適なディープラーニングモデルアーキテクチャは何か？
• RQ2 エッジデプロイを想定した場合に、モデルサイズと推論遅延を低減しつつ、モデル性能をどのように維持できるか？
• RQ3 現場での建設監視に最適な精度、速度、コストのバランスを満たす組み込みハードウェアプラットフォームはどれか？
• RQ4 さまざまな規模の建設現場における、このようなシステムの導入の経済的妥当性は何か？

主な発見

• 最終的なデプロイ済みシステムは、実際の建設現場の画像において一貫して90%以上の検出精度を達成している。
• モデルの量子化と知識蒸留により、モデルサイズが50%以上削減されつつ、精度の低下は最小限に抑えられた。
• NVIDIA Jetson Nanoは、推論速度（25 FPS）とコストの両面で最良のトレードオフを提供し、リアルタイム性能を実現している。
• 全テスト済みの組み込みプラットフォームにおいて、システムはリアルタイム推論（≥20 FPS）を維持しており、特にJetson TX2で最高のパフォーマンスを示している。
• 経済分析の結果、Jetson Nanoの総所有原価は、高価な代替機器よりも顕著に低いことが判明した。
• 本ソリューションは、建設現場における安全性と生産性の監視の分野で、実用的かつスケーラブルであると検証された。