[논문 리뷰] Applying Domain Randomization to Synthetic Data for Object Category Detection

João Borrego, Atabak Dehban외 4명|arXiv (Cornell University)|2018. 07. 16.

Advanced Neural Network Applications참고 문헌 23인용 수 34

한 줄 요약

이 논문은 실제 세계 데이터가 매우 적을 경우에 비포토 realistic 합성 데이터에 도메인 랜덤라이제이션을 적용하여 객체 검출 성능을 크게 향상시키는 방법을 제안한다. 무작위로 설정된 질감, 시점, 조명 조건을 가진 합성 객체로 Single-Shot Detector (SSD)를 훈련시킴으로써, 단지 200장의 실제 이미지만을 사용하여도 기존의 파인튜닝 기반 모델 대비 mAP에서 25% 향상된 성능을 달성한다.

ABSTRACT

Recent advances in deep learning-based object detection techniques have revolutionized their applicability in several fields. However, since these methods rely on unwieldy and large amounts of data, a common practice is to download models pre-trained on standard datasets and fine-tune them for specific application domains with a small set of domain relevant images. In this work, we show that using synthetic datasets that are not necessarily photo-realistic can be a better alternative to simply fine-tune pre-trained networks. Specifically, our results show an impressive 25% improvement in the mAP metric over a fine-tuning baseline when only about 200 labelled images are available to train. Finally, an ablation study of our results is presented to delineate the individual contribution of different components in the randomization pipeline.

연구 동기 및 목표

• 실제 세계 데이터셋이 희소한 저데이터 환경에서 객체 검출 성능을 향상시키기 위해.
• 라벨이 부족한 상황에서 비포토 realistic 합성 데이터가 실제 데이터에 대한 파인튜닝보다 성능이 뛰어나게 될 수 있는지 조사하기 위해.
• 도메인 랜덤라이제이션 파이프라인의 각 구성 요소가 검출기 정확도에 미치는 영향을 평가하기 위해.
• 로봇 공학 애플리케이션에서 더 빠르고 유연한 합성 데이터 생성을 위한 개방형 Gazebo 플러그인을 향상시키기 위해.

제안 방법

• 수정된 Gazebo 플러그인을 사용하여 매개변수 기반 객체 생성과 무작위 렌더링 설정을 지원하는 합성 데이터셋을 생성하였다.
• 도메인 랜덤라이제이션 파이프라인은 객체 질감(평탄한, 기울기, 체스무늬, 페르린 노이즈), 시점, 조명 조건의 랜덤라이제이션을 포함하였다.
• 사전 훈련된 SSD 모델을 무작위로 설정된 합성 데이터에서 사전 훈련한 후, 소규모 실제 세계 데이터셋에서 파인튜닝하였다.
• 검출기 성능은 보류된 테스트 세트에서 mAP와 클래스별 AP를 사용하여 평가하였다.
• 각 랜덤라이제이션 구성 요소의 기여도를 분리하기 위해 아블레이션 스터디를 수행하였다. 이는 질감 유형과 훈련 이미지 수를 포함한다.
• Gazebo 플러그인을 개선하여 중복된 객체 로딩을 제거함으로써 시나리오 생성 속도를 100% 향상시켰다.

실험 결과

연구 질문

• RQ1 실제 이미지가 매우 적을 경우, 도메인 랜덤라이제이션을 적용한 합성 데이터가 실제 데이터에 대한 파인튜닝보다 성능이 뛰어나게 될 수 있는가?
• RQ2 다양한 종류의 질감 랜덤라이제이션(예: 페르린 노이즈 대 평탄한 질감)은 검출기 일반화에 어떤 영향을 미치는가?
• RQ3 과적합을 방지하면서도 높은 검출 정확도를 달성하기 위해 필요한 최적의 합성 이미지 수는 얼마인가?
• RQ4 시점과 조명 변화의 포함 여부는 모델의 강건성에 어떤 영향을 미치는가?
• RQ5 합성 데이터 생성 파이프라인의 향상(예: 플러그인 최적화)은 도메인 랜덤라이제이션 실험의 실현 가능성을 어느 정도 향상시키는가?

주요 결과

• 실제 이미지 200장만을 사용하여 파인튜닝한 경우, 도메인 랜덤라이제이션을 적용한 합성 데이터에서 사전 훈련한 모델은 기존 파인튜닝 기반 모델 대비 mAP에서 상대적으로 25% 향상된 성능을 보였다.
• 가장 높은 성능을 보인 모델은 '평탄한' 질감을 포함하지 않은 합성 데이터에서 훈련되었으며, mAP 0.8410을 달성하여 더 많은 훈련 샘플을 사용한 모든 질감을 포함한 모델들보다 뛰어난 성능을 보였다.
• 모든 질감을 포함한 30,000장의 이미지에서 훈련한 모델보다, 평탄한 질감을 제외한 6,000장의 합성 이미지에서 훈련한 모델이 더 높은 성능을 보였으며, 이는 질감의 복잡성과 데이터 양 사이의 균형이 중요하다는 것을 시사한다.
• 페르린 노이즈 질감은 검출 성능에 매우 중요한 역할을 하는 것으로 밝혀졌고, 평탄한 질감는 모델 정확도에 기여도가 가장 낮았다.
• 아블레이션 스터디 결과, 시점 변화와 질감 다양성이 핵심 구성 요소였으며, 페르린 노이즈가 포함되지 않은 경우 mAP가 10.7% 감소하였다.
• 수정된 Gazebo 플러그인은 중복된 객체 로딩을 제거하여 시나리오 생성 속도를 두 배로 높였으며, 도메인 랜덤라이제이션 실험의 빠른 반복을 가능케 하였다.