[논문 리뷰] Augmented Reality Meets Computer Vision : Efficient Data Generation for Urban Driving Scenes

Hassan Abu Alhaija, Siva Karthik Mustikovela외 3명|arXiv (Cornell University)|2017. 08. 04.

Advanced Neural Network Applications인용 수 16

한 줄 요약

이 논문은 도시 주행 환경 이해를 위한 다양하고 현실적인 훈련 데이터를 효율적으로 생성하기 위해 실제 세계 이미지와 사진처럼 사실적인 합성 차량을 결합하는 새로운 데이터 증강 방법을 제안한다. 최소한의 사용자 입력을 사용하여 실제 배경에 사실적으로 렌더링된 3D 자동차 인스턴스를 보완함으로써, 순수하게 합성된 데이터나 제한된 실제 데이터에 비해 KITTI 및 Cityscapes 벤치마크에서 인스턴스 세그멘테이션과 객체 검출 성능이 크게 향상된다.

ABSTRACT

The success of deep learning in computer vision is based on availability of large annotated datasets. To lower the need for hand labeled images, virtually rendered 3D worlds have recently gained popularity. Creating realistic 3D content is challenging on its own and requires significant human effort. In this work, we propose an alternative paradigm which combines real and synthetic data for learning semantic instance segmentation and object detection models. Exploiting the fact that not all aspects of the scene are equally important for this task, we propose to augment real-world imagery with virtual objects of the target category. Capturing real-world images at large scale is easy and cheap, and directly provides real background appearances without the need for creating complex 3D models of the environment. We present an efficient procedure to augment real images with virtual objects. This allows us to create realistic composite images which exhibit both realistic background appearance and a large number of complex object arrangements. In contrast to modeling complete 3D environments, our augmentation approach requires only a few user interactions in combination with 3D shapes of the target object. Through extensive experimentation, we conclude the right set of parameters to produce augmented data which can maximally enhance the performance of instance segmentation models. Further, we demonstrate the utility of our approach on training standard deep models for semantic instance segmentation and object detection of cars in outdoor driving scenes. We test the models trained on our augmented data on the KITTI 2015 dataset, which we have annotated with pixel-accurate ground truth, and on Cityscapes dataset. Our experiments demonstrate that models trained on augmented imagery generalize better than those trained on synthetic data or models trained on limited amount of annotated real data.

연구 동기 및 목표

• 도시 주행 환경 이해를 위한 수동으로 애너테이션된 실제 데이터셋의 높은 비용과 제한된 다양성 문제를 해결하기 위해.
• 완전히 합성된 데이터의 한계를 극복하기 위해, 일반적으로 현실감이 떨어지고 실제 테스트 데이터에 일반화되지 못하는 문제를 해결하기 위해.
• 데이터 생성에 필요한 인간의 노력은 최소화하면서도 데이터의 다양성과 현실감을 극대화하여 딥 러닝 모델 훈련을 위해 활용하기 위해.
• 배경의 현실감, 전경의 현실감, 객체 배치 방식이 모델 일반화에 미치는 영향을 조사하기 위해.
• 실제 배경과 합성 전경 객체를 조합하는 효율적이고 확장 가능한 데이터 증강 파이프라인을 개발하기 위해.

제안 방법

• 카메라 캘리브레이션과 환경 맵를 사용하여 실제 세계 이미지에 사진처럼 사실적인 3D 렌더링 차량 인스턴스를 보완한다.
• 완전한 3D 시점 재구성 없이도 최소한의 사용자 상호작용을 통해 객체 배치 및 카메라 파rameter를 정의한다.
• 환경 맵를 사용하여 현실적인 조명과 반사를 적용하지만, 실험 결과 성능에 미치는 영향은 미미한 것으로 나타났다.
• 색상 보정, 노이즈 추가 등의 후처리를 적용하여 증강된 이미지의 저수준 현실감을 향상시킨다.
• 물리적으로 불가능한 배치를 방지하기 위해 무작위 3D 배치, 지면 투영, 또는 의미적 세그멘테이션을 사용하여 객체 위치를 샘플링한다.
• 증강된 데이터로 인스턴스 세그멘테이션 및 객체 검출 모델을 훈련하고, KITTI 및 Cityscapes와 같은 실제 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 증강된 데이터로 훈련된 인스턴스 세그멘테이션 모델의 일반화 성능에 배경의 현실감이 미치는 영향은 어떠한가?
• RQ2 모델 성능을 최대화하기 위해 한 장의 실제 이미지에 대해 최적의 합성 차량 증강 수는 얼마인가?
• RQ3 무작위 3D 배치, 지면 투영, 의미적 세그멘테이션, 수동 트랙 등의 다양한 객체 배치 전략이 모델 정확도에 미치는 영향은 어떠한가?
• RQ4 반사의 현실감과 후처리가 실제 테스트 데이터에서의 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ5 실제-합성 데이터 증강 접근 방식이 순수 합성 데이터 또는 제한된 실제 데이터 훈련에 비해 우월한 성능을 낼 수 있는가?

주요 결과

• 실제 배경과 합성 차량을 사용한 증강된 데이터로 훈련된 모델은 KITTI 2015 및 Cityscapes 벤치마크에서 순수 합성 데이터나 제한된 실제 데이터로 훈련된 모델보다 성능이 뛰어나다.
• 실제 배경의 다양성이 조건이 같을 때 모델 일반화에 가장 중요한 요소이며, 동일한 합성 전경 객체를 사용하더라도 성능에 큰 영향을 미친다.
• 완전히 합성된 VKITTI 데이터를 사용할 경우, 약 4,000장 이상의 합성 데이터를 추가해도 성능 향상이 둔화됨을 확인하여 수익 감소 현상이 나타남을 시사한다.
• 무작위 환경 맵 또는 환경 맵 없이 사용할 경우 세그멘테이션 성능에 미치는 영향이 미미하여 정확한 반사 효과가 모델 학습에 필수적인 것은 아님을 시사한다.
• 후처리가 저수준 현실감을 크게 향상시키며, 세그멘테이션 작업에서 측정 가능한 성능 향상을 이끌어낸다.
• 지면 투영 방식(의미적 세그멘테이션 유무 관계없이)이 무작위 3D 배치보다 성능이 뛰어나며, 효과적인 증강을 위해 수동 애너테이션은 필수적이지 않다.