[논문 리뷰] Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization

Jonathan Tremblay, Aayush Prakash외 8명|arXiv (Cornell University)|2018. 04. 17.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 도메인 랜덤라이제이션(DR)을 제안하여 유일하게 합성 데이터를 사용해 딥 네트워크를 객체 검출을 위해 훈련시킨다. 빛, 질감, 물체 자세 등의 시뮬레이션 파라미터를 무작위로 변형시켜 현실과의 격차를 줄인다. 이 방법은 KITTI 데이터셋에서 최신 기술 성능을 달성하며, 사진처럼 사실적인 합성 데이터로 훈련한 모델을 뛰어넘고, 실세계 데이터로만 훈련한 모델보다도 미세조정 후 성능이 뛰어나다.

ABSTRACT

We present a system for training deep neural networks for object detection using synthetic images. To handle the variability in real-world data, the system relies upon the technique of domain randomization, in which the parameters of the simulator$-$such as lighting, pose, object textures, etc.$-$are randomized in non-realistic ways to force the neural network to learn the essential features of the object of interest. We explore the importance of these parameters, showing that it is possible to produce a network with compelling performance using only non-artistically-generated synthetic data. With additional fine-tuning on real data, the network yields better performance than using real data alone. This result opens up the possibility of using inexpensive synthetic data for training neural networks while avoiding the need to collect large amounts of hand-annotated real-world data or to generate high-fidelity synthetic worlds$-$both of which remain bottlenecks for many applications. The approach is evaluated on bounding box detection of cars on the KITTI dataset.

연구 동기 및 목표

• 컴퓨터 시각 분야에서 깊이 학습 모델을 훈련시키기 위한 높은 주석 비용과 제한된 실세계 데이터 문제를 해결한다.
• 합성 데이터와 실세계 데이터 간의 현실 격차를 줄이기 위해 시뮬레이터 파라미터를 랜덤라이제이션하여 합성 데이터의 강건성을 높인다.
• 미세조정을 통해 실세계 데이터에 적응시켰을 때, 도메인 랜덤라이제이션을 적용한 합성 데이터가 실세계 데이터나 고해상도 합성 데이터셋을 뛰어넘는 성능을 낼 수 있음을 입증한다.
• 다양한 DR 파라미터와 데이터 증강 전략이 검출 성능에 미치는 영향을 조사한다.

제안 방법

• 조명, 물체 질감, 자세, 배경 요소 등의 시뮬레이터 파라미터를 무작위로 변형시켜 합성 이미지 생성에 도메인 랜덤라이제이션을 적용한다.
• 검출 정확도 향상과 강건성 향상을 위해 시나리오 내에서 무작위로 움직이는 '비는 방해물'(flying distractors)을 도입한다.
• 실세계 데이터 없이도 순수하게 합성 DR 데이터에서 객체 검출 모델(Faster R-CNN, R-FCN 등)을 훈련시킨다.
• 실세계 데이터(예: KITTI)의 소량을 사용해 훈련된 모델을 미세조정하여 실세계 분포 변화에 적응시킨다.
• 일반화 성능 향상을 위해 훈련 중에 무작위 색상 왜곡, 스케일링, 자르기 등의 데이터 증강 전략을 사용한다.
• 일반화성과 이식성 평가를 위해 이미지넷, COCO 등 다양한 초기화 전략과 훈련 제어 전략을 비교한다.

실험 결과

연구 질문

• RQ1 합성 데이터에 도메인 랜덤라이제이션을 적용하면 실세계 객체 검출 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 합성 DR 데이터로 훈련한 후 실세계 데이터로 미세조정했을 때, 실세계 데이터로만 훈련한 경우와 비교해 검출 정확도가 어떻게 향상되는가?
• RQ3 조명, 질감, 방해물 등 도메인 랜덤라이제이션 파라미터 중 검출 성능에 가장 큰 영향을 미치는 요소는 무엇인가?
• RQ4 최종 모델 정확도 측면에서 DR 기반 합성 데이터는 더 높은 품질의 사진처럼 사실적인 합성 데이터셋보다 어떻게 비교되는가?

주요 결과

• COCO 가중치로 초기화한 Faster R-CNN 검출기는 순수하게 도메인 랜덤라이제이션된 합성 데이터에서만 훈련했을 때 KITTI 데이터셋에서 AP 83.7을 기록했으며, 이는 사진처럼 사실적인 Virtual KITTI 데이터셋으로 훈련한 경우(AP: 79.7)를 뛰어넘는 성능이다.
• DR로 훈련한 모델을 실세계 KITTI 데이터로 미세조정했을 때, 실세계 데이터로만 훈련한 경우보다 더 높은 성능을 기록했으며, 이는 합성 데이터에서 실세계로의 전이가 효과적이라는 것을 보여준다.
• 합성 DR 데이터에서 훈련 중에 초기 레이어를 고정하면 성능이 최대 13.5% 저하되며, 이는 최적의 적응을 위해 전체 미세조정이 필수적임을 시사한다.
• ImageNet 사전학습을 사용할 경우 약 10,000장의 훈련 이미지에서, 사전학습 없이 사용할 경우 약 50,000장에서 성능이 포화 상태에 도달함을 확인했으며, 이는 DR를 사용할 경우 높은 데이터 양이 반드시 필요하지 않음을 시사한다.
• '비는 방해물'의 도입이 검출 정확도 향상에 기여했으며, 이는 도메인 랜덤라이제이션에서 동적인 시나리오 변화의 중요성을 강조한다.
• COCO(자동차 포함)에서 사전학습을 하면 무작위 초기화보다 성능 향상이 뚜렷하며, DR는 이 성능 향상에 추가로 기여함을 보여주며, 이는 DR가 다양한 도메인 간의 특징 학습을 더 잘 가능하게 한다.