[논문 리뷰] Unity Perception: Generate Synthetic Data for Computer Vision

Steve Borkman, Adam Crespi외 13명|arXiv (Cornell University)|2021. 07. 09.

Advanced Neural Network Applications참고 문헌 35인용 수 71

한 줄 요약

이 논문은 컴퓨터 비전 작업을 위해 완벽하게 주석된 합성 데이터셋을 생성하는 오픈 소스 패키지 Unity Perception과 무작위화 프레임워크 및 동반 데이터셋 도구를 소개하며, 합성 데이터가 실제 데이터와 결합될 때 모델 성능을 향상시킬 수 있음을 보여준다.

ABSTRACT

We introduce the Unity Perception package which aims to simplify and accelerate the process of generating synthetic datasets for computer vision tasks by offering an easy-to-use and highly customizable toolset. This open-source package extends the Unity Editor and engine components to generate perfectly annotated examples for several common computer vision tasks. Additionally, it offers an extensible Randomization framework that lets the user quickly construct and configure randomized simulation parameters in order to introduce variation into the generated datasets. We provide an overview of the provided tools and how they work, and demonstrate the value of the generated synthetic datasets by training a 2D object detection model. The model trained with mostly synthetic data outperforms the model trained using only real data.

연구 동기 및 목표

• CV에서 라벨링 비용, 프라이버시 및 데이터 다양성 이슈를 해결하기 위해 합성 데이터의 사용을 촉진한다.
• 일반적인 CV 작업에 대해 Unity 내에서 라벨링된 합성 데이터를 생성하는 구성 가능 도구 체인을 제시한다.
• 실제 모델 성능에 대한 합성 데이터의 영향을 사례 연구(SynthDet)를 통해 보여준다.
• 합성 데이터셋을 소비하고 분석하기 위한 에디터 내 도구 및 Python 동반 도구를 제공한다.

제안 방법

• 2D/3D 물체 탐지, 의미/인스턴스 분할, 키포인트에 대해 라벨링된 합성 데이터를 생성하도록 Unity Editor/Engine을 확장한다.
• 시나리오, 반복, 난수화 도구(Randomizers, Samplers)로 구성된 확장 가능한 무작위화 프레임워크를 도입하여 장면을 결정적으로 다양화한다.
• 3D 장면 상태에서 주석을 도출하고 시맨틱 라벨을 표준 ID로 매핑하는 Ground-truth Labeler를 사용한다.
• 센서 출력을 Labeler 출력과 연결하는 JSON 기반의 데이터세트 스키마를 제공하여 파싱을 용이하게 한다.
• 합성 데이터를 이용해 파싱/통계 시각화 및 모델 학습을 지원하는 Python 패키지(DatasetInsights)를 제공한다.

실험 결과

연구 질문

• RQ1 Unity Perception에서 생성된 합성 데이터가 실제 데이터에 비해 CV 모델 성능을 같거나 향상시킬 수 있는가?
• RQ2 합성 데이터와 실제 데이터를 결합했을 때 다양한 데이터 분할에서 mAP와 mAR 같은 객체 탐지 지표가 어떻게 달라지는가?
• RQ3 도메인 무작위화가 실제 세계 테스트 세트에서 모델 일반화 향상에 어떤 역할을 하는가?

주요 결과

• 합성 데이터가 주로 사용된 모델이 실제 데이터만으로 학습된 모델보다 더 잘 수행할 수 있다.
• SynthDet 사례에서 400k 합성 이미지와 760개의 실제 이미지는 테스트된 전략 중 가장 높은 정확도를 보였으며(mAP 0.684, mAPIoU50 0.854, mAR100 0.757).
• 합성 데이터는 실제 데이터가 제한적일 때 성능을 크게 향상시킨다(예: 76개의 실제 이미지와 합성 데이터의 경우 강한 이득을 보임).
• 400k 합성 데이터와 실제 데이터를 결합하는 경우 실제 데이터만 사용했을 때보다 여러 평가 지표에서 일관되게 성능이 향상된다.
• 본 연구는 합성 데이터가 CV 연구 속도와 데이터세트 생성 워크플로를 가속하는 실행 가능성을 입증한다.