[논문 리뷰] Synscapes: A Photorealistic Synthetic Dataset for Street Scene Parsing

Magnus Wrenninge, Jonas Unger|arXiv (Cornell University)|2018. 10. 19.

Advanced Vision and Imaging참고 문헌 5인용 수 144

한 줄 요약

Synscapes는 편향되지 않은 경로 추적과 넓고 서로 독립적인 시나리오 변화를 통해 만들어진 사진실사에 가까운 거리 장면 파싱용 합성 데이터 세트입니다. 이 논문은 합성-실제 간 전이, 테스트/검증 활용, 그리고 세밀한 데이터 세트 기반 모델 분석을 다룹니다.

ABSTRACT

We introduce Synscapes -- a synthetic dataset for street scene parsing created using photorealistic rendering techniques, and show state-of-the-art results for training and validation as well as new types of analysis. We study the behavior of networks trained on real data when performing inference on synthetic data: a key factor in determining the equivalence of simulation environments. We also compare the behavior of networks trained on synthetic data and evaluated on real-world data. Additionally, by analyzing pre-trained, existing segmentation and detection models, we illustrate how uncorrelated images along with a detailed set of annotations open up new avenues for analysis of computer vision systems, providing fine-grain information about how a model's performance changes according to factors such as distance, occlusion and relative object orientation.

연구 동기 및 목표

• 고도로 사진실사에 근접한 합성 데이터가 거리 장면 인지 모델의 학습 및 검증에 사용될 수 있음을 보여준다.
• 모델 동작의 제어된 분석을 위해 완전히 상관관계가 제거된 시나리오 매개변수와 풍부한 메타데이터를 포함한 절차적으로 생성된 데이터세트를 제공한다.
• 합성 데이터의 성능을 실제 데이터 및 다른 합성 데이터 세트와 비교한다.
• 거리, 가림(가려짐), 방향과 같은 요인이 모델 성능에 미치는 영향을 미세하게 분석하는 데 합성 데이터가 어떻게 기여하는지 보여준다.

제안 방법

• 센서, 광학 및 카메라 파이프라인 시뮬레이션을 포함한 편향되지 않은 경로 추적을 사용하여 25,000개의 고유 RGB 이미지를 렌더링합니다(해상도 1440x720; 2048x1024도 이용 가능).
• 각 신을 상관관계가 제거된 시나리오 매개변수(예: 자동차, 보행자, 날씨, 시간대)에서 절차적으로 생성하여 광범위한 변화를 보장합니다.
• 장면, 카메라 및 인스턴스를 설명하는 클래스, 인스턴스 및 깊이 주석과 JSON 메타데이터를 제공합니다.
• Cityscapes에서 사전 학습된 FRRN 및 DeepLab v3+를 사용하여 의미론적 분할을 평가하고, Synscapes 및 다른 합성 데이터셋에서 도메인 간 성능을 테스트합니다.
• Faster R-CNN (ResNet-101) 및 KITTI/GTA 기준선을 사용하여 객체 탐지 실험을 수행하고, 교차 도메인 학습/미세 조정 시나리오를 포함합니다.
• 시각화 스크립트와 메타데이터 기반 슬라이싱을 통해 데이터셋의 영향력을 분석하고, 방향, 가림, 시나리오 매개변수가 모델 성능에 미치는 영향을 연구합니다.

실험 결과

연구 질문

• RQ1 사진실사에 가까운 합성 데이터셋이 분할 및 탐지 모델의 검증에 있어 실제 세계 데이터와 어떻게 비교되는가?
• RQ2 합성 데이터가 효과적인 학습 자료가 될 수 있는가, 그리고 실제 데이터로의 미세 조정이 합성 사전 학습과 어떻게 상호작용하는가?
• RQ3 모델 성능에 영향을 미치는 더 세밀한 요인들(방향, 거리, 가림, 조명)은 무엇이며, Synscapes의 메타데이터가 이러한 효과를 설명해 줄 수 있는가?

주요 결과

• Cityscapes에서 학습된 DeepLab와 FRRN이 Synscapes에서 최상의 성능을 보이며, Synscapes가 다른 합성 데이터셋에 비해 도메인 차이가 더 작음을 시사한다.
• 사전 학습된 Cityscapes 모델은 Synscapes에서 자가 검증 성능이 Richter(63%)나 Synthia(57%)보다 더 높은 87%를 달성한다.
• KITTI에서 학습된 Faster R-CNN은 일부 설정에서 Synscapes와 KITTI를 함께 미세 조정하면 KITTI만 사용할 때보다 더 높은 mAP를 달성한다(약 0.902 mAP). 이는 합성 데이터의 도메인 간 이점을 보여준다.
• Cityscapes와 결합한 Synscapes 기반 학습은 19개 Cityscapes 클래스 전반에 걸친 per-class 개선과 광범위한 커버리지를 제공합니다.
• 모션 블러(ego_speed) 및 태양 높이와 같은 요인으로 객체 탐지 및 분할 성능이 저하되며, 클래스 및 거리별로 특정 영향이 나타난다.
• Synscapes를 Cityscapes와 함께 사용하면 다른 합성 데이터세트(GTA/Richter, Synthia)와 비교해 도메인 시차를 줄이고 전이 학습을 개선할 수 있다.