[논문 리뷰] Driving in the Matrix: Can Virtual Worlds Replace Human-Generated Annotations for Real World Tasks?

Matthew Johnson‐Roberson, Charles Barto외 4명|arXiv (Cornell University)|2016. 10. 06.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 시뮬레이션 엔진으로 생성된 사진처럼 사실적인 가상 세계를 활용하여 딥러닝을 위한 합성된, 레이블이 부여된 훈련 데이터를 생성하는 것을 제안한다. 가상 환경에서 생성된 합성 데이터만으로 최신의 객체 검출 네트워크를 훈련시킴으로써, 인간이 레이블을 부여한 실제 세계 데이터로 훈련된 모델보다 KITTI 실제 세계 벤치마크에서 뛰어난 성능을 달성하였다. 이는 가상 레이블이 실제 세계 작업을 위한 인간 레이블 데이터를 대체할 수 있음을 보여준다.

ABSTRACT

Deep learning has rapidly transformed the state of the art algorithms used to address a variety of problems in computer vision and robotics. These breakthroughs have relied upon massive amounts of human annotated training data. This time consuming process has begun impeding the progress of these deep learning efforts. This paper describes a method to incorporate photo-realistic computer images from a simulation engine to rapidly generate annotated data that can be used for the training of machine learning algorithms. We demonstrate that a state of the art architecture, which is trained only using these synthetic annotations, performs better than the identical architecture trained on human annotated real-world data, when tested on the KITTI data set for vehicle detection. By training machine learning algorithms on a rich virtual world, real objects in real scenes can be learned and classified using synthetic data. This approach offers the possibility of accelerating deep learning's application to sensor-based classification problems like those that appear in self-driving cars. The source code and data to train and validate the networks described in this paper are made available for researchers.

연구 동기 및 목표

• 컴퓨터 시각 및 로봇 분야의 딥러닝에서 시간이 많이 소요되는 인간 레이블 부여의 문제를 해결하기 위해.
• 합성된 시뮬레이션 기반 데이터가 실제 세계 작업을 위한 인간 레이블 데이터를 대체할 수 있는지 조사하기 위해.
• 사진처럼 사실적인 가상 세계에서 유래한 합성 레이블만으로 훈련된 모델의 실제 세계 벤치마크에서의 성능을 평가하기 위해.
• 자율 시스템의 센서 기반 분류 작업을 위한 더 빠르고 확장 가능한 데이터 생성을 가능하게 하기 위해.

제안 방법

• 고정밀도 시뮬레이션 엔진을 사용하여 도시 주행 환경의 사진처럼 사실적인 이미지를 생성한다.
• 합성 환경 내 객체에 대해 조밀하고 정확한 레이블(예: 바운딩 박스)을 자동으로 생성한다.
• 합성된 시뮬레이션 데이터만을 사용하여 최신의 객체 검출 신경망을 훈련시킨다.
• 실제 세계의 KITTI 벤치마크 데이터셋에서 차량 검출을 위해 훈련된 모델을 평가한다.
• 시뮬레이션에서 현실으로의 일반화를 향상시키기 위해 도메인 랜덤라이제이션과 데이터 증강을 시행한다.
• 가상 세계의 제어 가능성을 활용하여 조명, 날씨, 객체 구성 등을 다양화하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 사진처럼 사실적인 시뮬레이션 엔진에서 생성된 합성 데이터가 실제 세계의 시각 인식 작업으로 일반화될 수 있는가?
• RQ2 순수하게 합성 레이블로 훈련한 모델이 인간이 레이블을 부여한 실제 세계 데이터로 훈련한 모델보다 객체 검출에서 성능이 뛰어나게 되는가?
• RQ3 시뮬레이션에서의 도메인 랜덤라이제이션은 딥러닝 모델의 실제 세계 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 가상 세계는 자율 주행 애플리케이션에서 비용이 많이 드는 인간 레이블이 부여된 데이터 세트가 필요 없도록 만들 수 있는가?

주요 결과

• 가상 세계에서 유래한 합성 레이블만으로 훈련된 딥러닝 모델이 KITTI 벤치마크에서 인간이 레이블을 부여한 실제 세계 데이터로 훈련된 동일한 모델보다 뛰어난 성능을 보였다.
• 합성 데이터로 훈련된 모델은 인간이 레이블을 부여한 실제 세계 데이터로 훈련된 모델보다 KITTI 테스트 세트에서 더 높은 평균 정확도(모든 평균 정확도, mAP)를 달성했다.
• 성능 향상은 조명, 날씨, 객체 배치 등 제어 가능한 다양성의 고도로 확장 가능한 합성 데이터 덕분이었다.
• 결과적으로 사진처럼 사실적인 가상 세계에서 생성된 합성 데이터가 실제 세계의 객체 검출 작업을 위한 인간이 레이블을 부여한 데이터를 효과적으로 대체할 수 있음을 보여주었다.
• 저자들은 소스 코드와 데이터를 공개하여 재현 가능성과 합성 데이터 훈련 분야의 향후 연구를 가능하게 하였다.