[논문 리뷰] Synthetic Image Data for Deep Learning

Jason W. Anderson, Marcin Ziółkowski외 2명|arXiv (Cornell University)|2022. 12. 12.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 실제 차량 CAD 모델에서 유도된 고해상도이고 물리적으로 기반한 합성 영상을 사용하여 제한된 실존 데이터를 보완하여 세분화 분류 모델을 훈련시키는 방법을 제안한다. 실존 데이터만을 사용한 훈련에 비해 소량의 실존 데이터와 합성 데이터를 조합함으로써 모델의 정확도가 크게 향상되었으며, 합성 데이터로 사전 훈련을 수행하면 전이 학습 비용을 최대 90%까지 감소시켜 자료가 부족한 도메인에서 매우 효과적인 방법임을 입증한다.

ABSTRACT

Realistic synthetic image data rendered from 3D models can be used to augment image sets and train image classification semantic segmentation models. In this work, we explore how high quality physically-based rendering and domain randomization can efficiently create a large synthetic dataset based on production 3D CAD models of a real vehicle. We use this dataset to quantify the effectiveness of synthetic augmentation using U-net and Double-U-net models. We found that, for this domain, synthetic images were an effective technique for augmenting limited sets of real training data. We observed that models trained on purely synthetic images had a very low mean prediction IoU on real validation images. We also observed that adding even very small amounts of real images to a synthetic dataset greatly improved accuracy, and that models trained on datasets augmented with synthetic images were more accurate than those trained on real images alone. Finally, we found that in use cases that benefit from incremental training or model specialization, pretraining a base model on synthetic images provided a sizeable reduction in the training cost of transfer learning, allowing up to 90\% of the model training to be front-loaded.

연구 동기 및 목표

• 산업적 이상 탐지 분야에서 수집이 어려우며 비용이 많이 드는 제한된 실존 훈련 영상 문제를 해결한다.
• 합성 영상 데이터가 실존 데이터를 효과적으로 보완하여 모델 정확도를 향상시킬 수 있는지 조사한다.
• 다단계 세분화 모델(예: Double-U-net)에서 합성 데이터를 활용한 사전 훈련 및 전이 학습의 효과를 평가한다.
• 최적의 합성 데이터 대 실존 데이터 비율과 점진적 훈련이 모델 성능에 미치는 영향을 규명한다.

제안 방법

• 실제 차량의 3D CAD 모델을 기반으로 도메인 랜덤라이제이션을 적용하여 다양성을 높인 고품질의 물리적으로 기반한 합성 영상을 생성하였다.
• U-net 및 Double-U-net 모델을 다양한 합성 및 실존 영상 데이터 조합으로 훈련시켜 성능을 평가하였다.
• 이중 단계 훈련 전략을 적용: 먼저 합성 데이터로 사전 훈련한 후, 실존 데이터로 미세 조정하여 전이 학습을 가능하게 하였다.
• 랜덤 초기화, ImageNet 사전 훈련된 VGG19, 합성 데이터로 사전 훈련된 인코더를 사용한 전이 학습을 비교하였다.
• Double-U-net 아키텍처에서 두 개의 U-net 브랜치 간에 픽셀 단위 곱셈과 스킵 커넥션 융합을 적용하여 특징 학습을 향상시켰다.
• 일반화 능력을 측정하기 위해 실존 검증 영상에서 평균 교차율(IoU)을 사용하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 제한된 실존 훈련 데이터와 함께 합성 영상 데이터를 사용할 경우, 세분화 정확도 향상에 얼마나 효과적인가?
• RQ2 합성 영상 데이터로만 훈련한 모델의 성능과 실존 영상 데이터로만 훈련한 모델의 성능에 어떤 영향을 미치는가?
• RQ3 합성 데이터로 사전 훈련하면 자료가 부족한 도메인에서 전이 학습의 훈련 비용을 줄일 수 있는가?
• RQ4 이 세분화 작업에서 모델 정확도를 최대화하기 위한 최적의 합성 대 실존 데이터 비율은 무엇인가?
• RQ5 합성 데이터로 사전 훈련한 Double-U-net 아키텍처는 표준 U-net 및 ImageNet으로 미세 조정한 VGG19 기반 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 합성 영상 데이터로만 훈련된 모델은 실존 검증 데이터에서 매우 낮은 평균 예측 IoU(일반화 능력이 열악함)를 기록하였다.
• 합성 데이터셋에 단지 256~512장의 실존 영상 데이터를 추가하는 것만으로도 모델 정확도가 크게 향상되어 실존 데이터로만 훈련된 모델보다 뛰어난 성능을 보였다.
• 합성 영상 데이터로 증강된 데이터셋으로 훈련된 모델은 실존 데이터로만 훈련된 모델보다 더 높은 정확도를 달성하였다.
• 합성 데이터로 사전 훈련하면 전이 학습 시나리오에서 총 훈련 시간의 최대 90%를 감소시켜 효율적인 점진적 모델 특화를 가능하게 하였다.
• 최적의 합성 대 실존 데이터 비율은 약 256~512장의 실존 영상으로 확인되었으며, 이 이상의 합성 데이터를 추가하면 수익 감소 효과가 나타나고 정확도가 하락하는 경향을 보였다.
• 합성 데이터로 사전 훈련된 인코더를 갖춘 Double-U-net 모델은 VGG19를 미세 조정한 모델와 비교해 유사하거나 더 높은 정확도를 기록하였지만, 훈련 비용은 더 높았다.