[논문 리뷰] Model-driven Simulations for Deep Convolutional Neural Networks

V. S. R. Veeravasarapu, Constantin A. Rothkopf외 1명|arXiv (Cornell University)|2016. 05. 31.

Model Reduction and Neural Networks참고 문헌 15인용 수 16

한 줄 요약

이 논문은 정확한 지도 데이터를 제공하는 확률적 3D 장면 모델과 매개변수 기반 렌더링을 사용하여 합성 도시 도로 풍경에서 딥 컨volution 신경망(DCNNs)을 훈련하기 위한 모델 기반 시뮬레이션 프레임워크를 제안한다. 이는 사진처럼 사실적인 렌더링이 일반화에 필수적이지 않다는 것을 보여주며, 시뮬레이션된 데이터와 실제 데이터 간의 분포 차이로 인해 발생하는 성능 편향은 소량의 실제 데이터로의 피지컬 트레이닝을 통해 효과적으로 보정될 수 있음을 시사한다. 이로 인해 대규모 레이블이 부여된 실제 데이터로 훈련된 모델과 유사한 성능을 달성할 수 있다.

ABSTRACT

The use of simulated virtual environments to train deep convolutional neural networks (CNN) is a currently active practice to reduce the (real)data-hungriness of the deep CNN models, especially in application domains in which large scale real data and/or groundtruth acquisition is difficult or laborious. Recent approaches have attempted to harness the capabilities of existing video games, animated movies to provide training data with high precision groundtruth. However, a stumbling block is in how one can certify generalization of the learned models and their usefulness in real world data sets. This opens up fundamental questions such as: What is the role of photorealism of graphics simulations in training CNN models? Are the trained models valid in reality? What are possible ways to reduce the performance bias? In this work, we begin to address theses issues systematically in the context of urban semantic understanding with CNNs. Towards this end, we (a) propose a simple probabilistic urban scene model, (b) develop a parametric rendering tool to synthesize the data with groundtruth, followed by (c) a systematic exploration of the impact of level-of-realism on the generality of the trained CNN model to real world; and domain adaptation concepts to minimize the performance bias.

연구 동기 및 목표

• 그래픽의 사실성과 도메인 이동의 영향을 체계적으로 분석함으로써, 합성 데이터에서 훈련된 DCNN의 성능 편향 문제를 해결하고자 한다.
• 확률적 3D 도시 장면 모델을 개발하여 스케일이 가능하고 다양한, 현실적인 도로 풍경을 정밀한 지도 데이터와 함께 시뮬레이션할 수 있도록 한다.
• Cityscapes와 같은 실제 벤치마크에서 테스트할 때, 시뮬레이션된 데이터에서 훈련된 DCNN의 일반화 능력을 평가하고자 한다.
• 특히 소량의 실제 데이터로의 피지컬 트레이닝을 포함한 도메인 적응 기법을 탐색하여, 시뮬레이션된 데이터와 실제 데이터 간의 분포 차이를 보정하고자 한다.
• 대규모 실제 데이터 수집 및 레이블 부여에 의존하는 것의 비용을 줄이고, 동시에 의미 분할 작업에서 높은 성능을 유지할 수 있는 프레임워크를 제공하고자 한다.

제안 방법

• 스토케스틱 마킹된 포아송 프로세스(MPP)를 사용하여 3D 도시 객체(예: 차량, 건물, 나무)의 공간적 및 의미적 분포를 확률적 3D 장면 모델로 모델링한다.
• 몬테카를로 경로 추적 기반의 매개변수 기반 렌더링 파이프라인을 활용하여 픽셀당 샘플 수를 제어함으로써 렌더링 품질의 영향을 체계적으로 연구할 수 있도록 한다.
• 렌더링 과정 중에 장면의 기하학적 및 의미적 메타데이터를 활용하여 지도 데이터(annotation, 예: 의미 분할 마스크)를 자동으로 생성한다.
• 스케치업 3D 웨어하우스(SketchUp 3D Warehouse)와 같은 공공 리포지토리에서 확보한 3D CAD 모델과 텍스처를 통합하여 장면의 다양성과 현실감을 향상시킨다.
• 도메인 적응은 피지컬 트레이닝을 통해 적용된다: 20,000장의 시뮬레이션 이미지로 사전 훈련된 모델을 실제 이미지 300장(10%의 Cityscapes 훈련 세트)으로 추가로 훈련시어, 특징 분포를 실제 세계 데이터와 일치시킨다.
• 성능 평가는 Cityscapes 테스트 세트에서의 교차율(Intersection over Union, IoU)을 사용하며, 렌더링 품질과 훈련 데이터 구성의 변동에 따른 분석도 함께 수행된다.

실험 결과

연구 질문

• RQ1 합성 도시 풍경에서 훈련된 DCNN의 일반화에 있어 사진적 사실성과 렌더링 품질이 어떤 역할을 하는가?
• RQ2 시뮬레이션된 데이터와 실제 세계 데이터 간의 분포 차이가 의미 분할 작업에서 성능 편향을 얼마나 유발하는가?
• RQ3 소량의 실제 세계 데이터로 합성 데이터에서 훈련된 모델의 성능 편향을 효과적으로 보정할 수 있는가?
• RQ4 합성 데이터에서 훈련된 DCNN의 성능은 실제 데이터에서 훈련된 모델과 비교해 볼 때, 특히 물체 경계부와 전체 이미지 맥락에서 어떻게 다른가?
• RQ5 3D 장면 모델의 세부 수준과 렌더링 엔진의 품질이 실제 세계 데이터로의 일반화 능력에 크게 영향을 미치는가?

주요 결과

• 20,000장의 시뮬레이션된 이미지에서 훈련된 DCNN은 Cityscapes 테스트 세트에서 IoU 46.38%를 기록했으며, 이는 전체 실제 Cityscapes 훈련 세트로 훈련된 모델의 IoU 69.54%보다 유의미하게 낮았다.
• 시뮬레이션 훈련 이미지 수를 5,000장에서 20,000장으로 늘여도 IoU는 단지 4.29%p 향상되었으며, 이는 수익 감소와 잠재적인 분포 불일치를 시사한다.
• 20,000장의 시뮬레이션된 이미지로 훈련된 모델을 실제 이미지 300장(10%의 CS-train)으로 피지컬 트레이닝한 결과, IoU 68.13%를 달성했으며, 이는 전체 실제 데이터로 훈련된 모델(69.54%)의 성능에 거의 근접했다.
• 성능 저하가 가장 심각하게 나타난 곳은 물체 경계부였으며, 시뮬레이션된 이미지에서는 더 선명한 에지와 더 적은 색상 번짐이 관찰되어 센서 및 렌즈 효과가 정밀한 픽셀 수준 예측에 매우 중요함을 시사한다.
• 렌더링 품질이 임계값을 초과하면 모델의 일반화 능력에 영향을 주지 않았다: 픽셀당 40개의 샘플로도 노이즈가 존재하더라도 일반화에 충분한 품질을 제공했으며, 이는 고도의 사진적 사실성이 반드시 필요하지 않음을 시사한다.
• 이 연구는 가상 세계에서의 훈련이 통계적 차이가 존재하는 영상 통계로 인해 분류나 검출과 같은 거시적 인식 작업에는 더 적합하지만, 세밀한 픽셀 수준의 분할 작업에는 부적합함을 확인한다.