[논문 리뷰] An Annotation Saved is an Annotation Earned: Using Fully Synthetic Training for Object Instance Detection

Stefan Hinterstoißer, Olivier Pauly외 3명|arXiv (Cornell University)|2019. 02. 26.

Advanced Neural Network Applications참고 문헌 31인용 수 29

한 줄 요약

이 논문은 완전히 합성된 훈련 파이프라인을 제안하며, 3D 배경 모델을 완전한 도메인 랜덤라이제이션으로 렌더링하고 커리큘럼 학습 전략을 통해 모든 자세와 조건에서 전경 객체에 균형 잡히고 점진적인 노출을 보장한다. 이 방법은 실제 데이터로만 훈련된 모델을 능가하는 최신 기술 성능을 실세계 벤치마크에서 달성한다.

ABSTRACT

Deep learning methods typically require vast amounts of training data to reach their full potential. While some publicly available datasets exists, domain specific data always needs to be collected and manually labeled, an expensive, time consuming and error prone process. Training with synthetic data is therefore very lucrative, as dataset creation and labeling comes for free. We propose a novel method for creating purely synthetic training data for object detection. We leverage a large dataset of 3D background models and densely render them using full domain randomization. This yields background images with realistic shapes and texture on top of which we render the objects of interest. During training, the data generation process follows a curriculum strategy guaranteeing that all foreground models are presented to the network equally under all possible poses and conditions with increasing complexity. As a result, we entirely control the underlying statistics and we create optimal training samples at every stage of training. Using a set of 64 retail objects, we demonstrate that our simple approach enables the training of detectors that outperform models trained with real data on a challenging evaluation dataset.

연구 동기 및 목표

• 객체 검출을 위한 실세계 훈련 데이터 수집 및 레이블링의 높은 비용과 확장성 문제를 해결하기 위해.
• 실제 배경 데이터에 의존하지 않고도 합성 이미지와 실세계 이미지 간의 도메인 갭을 줄이기 위해.
• 실세계 조건에 대한 강건한 일반화를 가능하게 하는 확장 가능한 완전히 합성된 데이터 생성 파이프라인을 개발하기 위해.
• 순수하게 합성된 데이터로도 실데이터로 훈련된 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• 완전한 도메인 랜덤라이제이션으로 렌더링된 대규모 3D 배경 모델 데이터셋을 활용하여 현실적이고 혼잡한 배경을 생성한다.
• 훈련 데이터의 복잡도를 점진적으로 증가시켜 모든 전경 객체가 모든 자세와 조건에서 균형 잡히게 노출되도록 하는 커리큘럼 학습 전략을 사용한다.
• 랜덤 조명, 블러, 노이즈를 적용하여 3D 전경 객체를 완전히 합성된 배경에 렌더링하여 현실감을 향상시킨다.
• 도메인 랜덤라이제이션의 일부로 랜덤 초점 거리, 조명 색상, 이미지 블러링을 적용하여 강건성을 향상시킨다.
• 전체 배경 이미지가 합성된 혼잡한 요소들로 채워져 있어 부분적으로 실배경이 포함되지 않도록 보장한다.
• 실데이터를 전혀 사용하지 않고 이 합성 데이터만으로 객체 검출기(예: Faster R-CNN)를 훈련시킨다.

실험 결과

연구 질문

• RQ1 완전히 합성된 훈련 파이프라인이 실데이터로 훈련된 모델보다 객체 인스턴스 검출에서 뛰어난 성능을 낼 수 있는가?
• RQ2 합성 데이터 생성에서 커리큘럼 학습 전략과 단순한 랜덤 자세 샘플링 방식을 비교했을 때 어떤 것이 더 우수한가?
• RQ3 배경 구성—순수 합성 배경 대비 혼합 실세계-합성 배경—이 검출 성능에 어떤 영향을 미치는가?
• RQ4 렌더링 파이프라인의 어떤 요소들(예: 블러링, 조명)이 모델의 일반화에 가장 크게 기여하는가?
• RQ5 더 크거나 더 많은 수의 배경 객체를 사용하면 혼잡한 환경에 대한 검출기의 강건성이 향상되는가?

주요 결과

• 순수하게 합성된 데이터로 훈련된 모델이 도전적인 실세계 평가 벤치마크에서 실데이터로 훈련된 모델보다 성능이 뛰어나다.
• 커리큘럼 학습 전략은 단순한 랜덤 자세 샘플링보다 검출 성능을 크게 향상시키며, 특히 초기 훈련 단계에서 두드러진다.
• 완전히 혼잡한 객체들로 채워진 순수 합성 배경을 사용할 경우, 실 이미지가 혼합된 부분적으로 실배경이 포함된 경우보다 성능이 뛰어나다.
• 블러링과 랜덤 조명 색상이 파이프라인에서 가장 영향력 있는 이미지 증강 단계이며, 초점 거리 변동은 최소한의 영향을 미친다.
• 이미지당 전경 객체의 수를 늘릴수록 검출 성능이 향상되며, 더 많은 객체 수가 일반화 성능을 향상시킨다.
• 최적의 배경 객체 크기 범위는 전경 객체와 유사하거나 더 크며, 더 작은 크기의 배경 객체는 전경 객체를 더 쉽게 식별하게 하여 강건성을 떨어뜨린다.