[論文レビュー] Data Augmentation Using Adversarial Training for Construction-Equipment Classification

Francis Baek, Somin Park+1 more|arXiv (Cornell University)|Nov 27, 2019

Infrastructure Maintenance and Monitoring参考文献 24被引用数 8

ひとこと要約

本稿では、敵対的訓練を組み込んだGANベースのデータ拡張手法を提案し、リアルな建設機械画像を生成することで分類精度を向上させた。この手法は、複数の画像サイズおよびトレーニングデータセットスケールにおいて、バイナリエクスカベーター分類で平均4.094%の精度向上を達成した。

ABSTRACT

Deep learning-based construction-site image analysis has recently made great progress with regard to accuracy and speed, but it requires a large amount of data. Acquiring sufficient amount of labeled construction-image data is a prerequisite for deep learning-based construction-image recognition and requires considerable time and effort. In this paper, we propose a "data augmentation" scheme based on generative adversarial networks (GANs) for construction-equipment classification. The proposed method combines a GAN and additional "adversarial training" to stably perform "data augmentation" for construction equipment. The "data augmentation" was verified via binary classification experiments involving excavator images, and the average accuracy improvement was 4.094%. In the experiment, three image sizes (32-32-3, 64-64-3, and 128-128-3) and 120, 240, and 480 training samples were used to demonstrate the robustness of the proposed method. These results demonstrated that the proposed method can effectively and reliably generate construction-equipment images and train deep learning-based classifiers for construction equipment.

研究の動機と目的

• ディープラーニングモデル向けに、ラベル付きの建設現場画像データが限られているという課題に対処する。
• 建設機械画像認識におけるデータ不足問題を、合成トレーニングサンプルの生成によって克服する。
• 生成モデルを用いた、建設機械に特化した安定的かつ効果的なデータ拡張技術を開発する。
• 画像解像度やトレーニングデータセットサイズの変動に対しても、本手法の頑健性を示す。
• リアルで敵対的に訓練された合成データ生成により、ディープラーニング分類器のパフォーマンスを向上させる。

提案手法

• 生成的敵対的ネットワーク（GAN）を用いて、リアルな建設機械画像を合成する。
• GANのトレーニングプロセスの安定化とサンプル品質の向上を図るため、追加の敵対的訓練を導入する。
• 実際の建設機械画像を用いて、GANをトレーニングし、元のデータ分布を学習する。
• 生成された合成画像を、下流の分類モデル用の拡張トレーニングデータとして適用する。
• バイナリ分類器（例：CNNベース）を用いて、拡張データの有効性をエクスカベーター対非エクスカベーター分類タスクで評価する。
• 複数の画像解像度（32×32、64×64、128×128）およびトレーニングデータセットサイズ（120、240、480サンプル）でトレーニングおよびテストを実施する。

実験結果

リサーチクエスチョン

• RQ1 敵対的に訓練されたGANは、データ拡張のためのリアルな建設機械画像を効果的に生成できるか？
• RQ2 本手法は、標準的なデータ拡張または拡張なしの状況と比較して、分類精度を向上させるか？
• RQ3 本手法は、異なる画像解像度および変動するトレーニングデータ量に対し、どの程度頑健か？
• RQ4 敵対的訓練は、建設現場画像のGANベースの生成をどの程度安定化させるか？
• RQ5 合成データは、十分に一般化可能であり、実世界の分類パフォーマンスを向上させられるか？

主な発見

• 提案されたデータ拡張手法は、バイナリエクスカベーター分類タスクで平均4.094%の精度向上を達成した。
• 本手法は、全テスト画像サイズ（32×32、64×64、128×128）で一貫したパフォーマンス向上を示した。
• 全トレーニングデータセットサイズ（120、240、480サンプル）で精度向上が確認され、頑健性が裏付けられた。
• 敵対的訓練の統合により、生成画像の安定性と品質が顕著に向上した。
• 合成画像は、過学習を引き起こさずに、分類器の一般化性能を向上させるのに有効であった。
• 結果から、敵対的ファインチューニングを施したGANベースのデータ拡張は、低データの建設画像認識タスクに対して実用的であることが確認された。