[論文レビュー] Material Recognition for Automated Progress Monitoring using Deep Learning Methods

Hadi Mahami, Navid Ghassemi+8 more|arXiv (Cornell University)|Jun 29, 2020

Infrastructure Maintenance and Monitoring参考文献 43被引用数 26

ひとこと要約

本稿では、建設現場の自動的進捗モニタリングを可能にする、事前学習済み畳み込みニューラルネットワーク（VGG16、ResNet、DenseNet、NASNet-Mobile）を用いた深層学習ベースの建材認識システムを提案する。11種類の建材クラスにわたる1,231枚の高品質な画像から構成される公開データセットで学習された本手法は、照明の変化やカメラのアングルに対して頑健であることが実証され、分類精度が最大97.35％に達し、建材認識分野における先行研究を著しく上回る。

ABSTRACT

Recent advancements in Artificial intelligence, especially deep learning, has changed many fields irreversibly by introducing state of the art methods for automation. Construction monitoring has not been an exception; as a part of construction monitoring systems, material classification and recognition have drawn the attention of deep learning and machine vision researchers. However, to create production-ready systems, there is still a long path to cover. Real-world problems such as varying illuminations and reaching acceptable accuracies need to be addressed in order to create robust systems. In this paper, we have addressed these issues and reached a state of the art performance, i.e., 97.35% accuracy rate for this task. Also, a new dataset containing 1231 images of 11 classes taken from several construction sites is gathered and publicly published to help other researchers in this field.

研究の動機と目的

• 建設現場の建材を自動的に認識する頑健な深層学習ベースの手法を開発し、進捗モニタリングの精度を向上させること。
• 既存の自動建設モニタリングシステムにおける低精度と誤差の累積問題に対処すること。
• 照明やカメラのアングルなどの変動する環境条件下での最先端のCNNアーキテクチャの性能を評価すること。
• 今後の研究を支援するため、1,231枚の建設現場の建材画像から構成される公開で高品質なデータセットを提供すること。
• 小規模な建材分類タスクにおける過学習を軽減するためのデータ拡張技術を調査すること。

提案手法

• 実際の建設現場から収集した1,231枚の高解像度画像から構成される独自のデータセットを用いて、VGG16、ResNet、DenseNet、NASNet-Mobileの複数の事前学習済み深層ニューラルネットワークを学習した。
• 回転、反転、明るさ調整などのデータ拡張技術を用いて、モデルの一般化性能を向上させ、過学習を低減した。
• 限定的なデータ量でも性能を向上させるために、11クラスの建材データセット上で事前学習済みモデルを微調整するトランスファーラーニングを活用した。
• 照明の変化を制御したサブセット画像を用いて、照明条件の変化に伴うモデル性能を評価した。
• Raspberry Pi 3、iPhone 11 Pro、Huawei P30 lite、Samsung Galaxy A50といった異なるハードウェアプラットフォーム上で、推論時間と精度を比較し、リアルタイムでのデプロイの可能性を検証した。
• GitHubを通じてデータセットを公開し、再現性および建設建材認識分野における今後の研究を支援した。

実験結果

リサーチクエスチョン

• RQ1 最先端の深層学習モデルは、実際の現場の画像から建設建材をどの程度正確に分類できるか？
• RQ2 VGG16、ResNet、DenseNet、NASNet-Mobileといった異なるCNNアーキテクチャは、照明やカメラのアングルの変化に伴ってどの程度の性能を示すか？
• RQ3 データ拡張技術は、小規模な建材データセットにおける一般化性能の向上と過学習の低減にどの程度寄与するか？
• RQ4 本手法は、自動建設進捗モニタリング分野における先行手法と比較して、精度と推論速度の面でどの程度優れているか？
• RQ5 Raspberry Pi 3のような低コストの組み込みデバイスに、本システムはリアルタイムモニタリングに効果的にデプロイ可能か？

主な発見

• VGG16モデルは、全データセット上で97.35％の最高精度を達成し、他のモデルを上回った。
• ResNetモデルは、低照度条件下で1クラスあたり5枚の画像のみを用いても90.48％の精度を達成し、耐障害性が優れていることが示された。
• NASNet-Mobileモデルは、5枚の画像サブセット上で89.95％の精度を達成し、限られたデータ量でも優れた性能を示した。
• DenseNetモデルは、全データセット上で96.30％の精度を達成し、誤分類が最小限に抑えられ、優れた一般化性能を示した。
• 混同行列から、多くの建材が明確に分離されており、特にレンガ（27/27）、砂利（22/22）などはほとんどすべて正しく分類されていた。
• 本システムは、照明条件やカメラのアングルの変化に対しても頑健であり、さまざまな環境条件下で一貫した性能を示した。