[논문 리뷰] Data Augmentation Using Adversarial Training for Construction-Equipment Classification

Francis Baek, Somin Park외 1명|arXiv (Cornell University)|2019. 11. 27.

Infrastructure Maintenance and Monitoring참고 문헌 24인용 수 8

한 줄 요약

이 논문은 적대적 훈련을 통합한 GAN 기반 데이터 증강 방법을 제안하여 현실적인 건설 장비 이미지를 생성함으로써 분류 정확도를 향상시킨다. 이 방법은 여러 이미지 크기와 훈련 세트 규모에서 이진 굴착기 분류 작업에서 평균 4.094%의 정확도 향상을 달성한다.

ABSTRACT

Deep learning-based construction-site image analysis has recently made great progress with regard to accuracy and speed, but it requires a large amount of data. Acquiring sufficient amount of labeled construction-image data is a prerequisite for deep learning-based construction-image recognition and requires considerable time and effort. In this paper, we propose a "data augmentation" scheme based on generative adversarial networks (GANs) for construction-equipment classification. The proposed method combines a GAN and additional "adversarial training" to stably perform "data augmentation" for construction equipment. The "data augmentation" was verified via binary classification experiments involving excavator images, and the average accuracy improvement was 4.094%. In the experiment, three image sizes (32-32-3, 64-64-3, and 128-128-3) and 120, 240, and 480 training samples were used to demonstrate the robustness of the proposed method. These results demonstrated that the proposed method can effectively and reliably generate construction-equipment images and train deep learning-based classifiers for construction equipment.

연구 동기 및 목표

• 딥 러닝 모델을 위한 레이블이 부여된 건설 현장 이미지 데이터가 부족한 문제를 해결하기 위해.
• 합성 훈련 샘플을 생성하여 건설 장비 이미지 인식에서의 데이터 부족 문제를 해결하기 위해.
• 생성 모델을 활용하여 건설 장비에 특화된 안정적이고 효과적인 데이터 증강 기법을 개발하기 위해.
• 다양한 이미지 해상도와 훈련 세트 크기에서 이 방법의 강건성을 입증하기 위해.
• 실제로 적대적으로 훈련된 합성 데이터 생성을 통해 딥 러닝 분류기 성능을 향상시키기 위해.

제안 방법

• 실제 건설 장비 이미지 데이터를 기반으로 생성 적대적 네트워크(GAN)를 사용하여 현실적인 건설 장비 이미지를 합성한다.
• GAN의 훈련 과정을 안정화하고 샘플 품질을 향상시키기 위해 추가적인 적대적 훈련을 도입한다.
• 실제 건설 장비 이미지 데이터를 기반으로 GAN을 훈련시켜 데이터의 기저 분포를 학습한다.
• 생성된 합성 이미지를 후행 분류 모델의 증강 훈련 데이터로 적용한다.
• 이중 분류기(예: CNN 기반)를 사용하여 증강된 데이터의 효과를 굴착기 대 비굴착기 분류 작업에서 평가한다.
• 32×32, 64×64, 128×128 등의 다양한 이미지 해상도와 120, 240, 480개의 샘플 수로 훈련 및 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 적대적으로 훈련된 GAN이 데이터 증강을 위해 현실적인 건설 장비 이미지를 효과적으로 생성할 수 있는가?
• RQ2 기본적인 데이터 증강 또는 증강 없음 대비 제안된 방법이 분류 정확도를 향상시키는가?
• RQ3 이 방법은 다양한 이미지 해상도와 다양한 양의 훈련 데이터에서 얼마나 강건한가?
• RQ4 적대적 훈련은 건설 현장 영상에 대한 GAN 기반의 데이터 생성을 얼마나 안정화시키는가?
• RQ5 합성 데이터는 실제 세계의 분류 성능 향상에 충분히 일반화될 수 있는가?

주요 결과

• 제안된 데이터 증강 방법은 이진 굴착기 분류 작업에서 평균 4.094%의 정확도 향상을 달성하였다.
• 모든 테스트된 이미지 크기(32×32, 64×64, 128×128)에서 일관된 성능 향상이 관찰되었다.
• 120, 240, 480개의 샘플로 구성된 모든 훈련 세트 크기에서 정확도 향상이 나타나, 강건성을 입증하였다.
• 적대적 훈련의 통합은 생성된 이미지의 안정성과 품질을 크게 향상시켰다.
• 합성 이미지는 과적합 없이 분류기의 일반화 성능 향상에 효과적이었다.
• 결과는 GAN 기반 데이터 증강과 적대적 미세조정이 저데이터 건설 영상 인식 작업에 실현 가능한 해결책임을 확인한다.