[论文解读] Data Augmentation Using Adversarial Training for Construction-Equipment Classification

Francis Baek, Somin Park+1 more|arXiv (Cornell University)|Nov 27, 2019

Infrastructure Maintenance and Monitoring参考文献 24被引用 8

一句话总结

本文提出了一种基于生成对抗网络（GAN）的数据增强方法，通过引入对抗性训练生成逼真的施工设备图像，从而提升分类准确率。该方法在多种图像尺寸和训练集规模下，实现了二值挖掘机械分类平均4.094%的准确率提升。

ABSTRACT

Deep learning-based construction-site image analysis has recently made great progress with regard to accuracy and speed, but it requires a large amount of data. Acquiring sufficient amount of labeled construction-image data is a prerequisite for deep learning-based construction-image recognition and requires considerable time and effort. In this paper, we propose a "data augmentation" scheme based on generative adversarial networks (GANs) for construction-equipment classification. The proposed method combines a GAN and additional "adversarial training" to stably perform "data augmentation" for construction equipment. The "data augmentation" was verified via binary classification experiments involving excavator images, and the average accuracy improvement was 4.094%. In the experiment, three image sizes (32-32-3, 64-64-3, and 128-128-3) and 120, 240, and 480 training samples were used to demonstrate the robustness of the proposed method. These results demonstrated that the proposed method can effectively and reliably generate construction-equipment images and train deep learning-based classifiers for construction equipment.

研究动机与目标

• 解决深度学习模型在施工场地图像标注数据有限的挑战。
• 通过生成合成训练样本，克服施工设备图像识别中的数据稀缺问题。
• 开发一种针对施工设备定制的稳定且高效的数据增强技术，利用生成模型实现。
• 在不同图像分辨率和训练集规模下，验证该方法的鲁棒性。
• 通过生成逼真且经对抗性训练的合成数据，提升深度学习分类器的性能。

提出的方法

• 利用生成对抗网络（GAN）合成逼真的施工设备图像。
• 引入额外的对抗性训练，以稳定GAN的训练过程并提升生成样本的质量。
• 在真实施工设备图像上训练GAN，以学习其潜在数据分布。
• 将生成的合成图像用作下游分类模型的增强训练数据。
• 使用二值分类器（如基于CNN的模型）评估增强数据在挖掘机械与非挖掘机械分类任务中的有效性。
• 在多种图像分辨率（32×32、64×64、128×128）和训练集规模（120、240、480个样本）下进行训练与测试。

实验结果

研究问题

• RQ1 经过对抗性训练的GAN能否有效生成适用于数据增强的逼真施工设备图像？
• RQ2 与标准数据增强或无增强相比，所提出的方法是否能提升分类准确率？
• RQ3 该方法在不同图像分辨率和不同量训练数据下的鲁棒性如何？
• RQ4 对抗性训练在多大程度上提升了基于GAN的施工场地图像生成的稳定性？
• RQ5 合成数据是否具备足够的泛化能力，能够有效提升真实世界中的分类性能？

主要发现

• 所提出的数据增强方法在二值挖掘机械分类任务中实现了平均4.094%的准确率提升。
• 该方法在所有测试的图像尺寸（32×32、64×64、128×128）下均表现出一致的性能增益。
• 在所有训练集规模（120、240和480个样本）下均观察到准确率提升，表明其具有良好的鲁棒性。
• 对抗性训练的引入显著提升了生成图像的稳定性和质量。
• 合成图像在提升分类器泛化能力方面表现有效，且未出现过拟合现象。
• 结果证实，基于GAN的数据增强结合对抗性微调，是解决低数据量施工图像识别任务的可行方案。