[논문 리뷰] SceneNet: Understanding Real World Indoor Scenes With Synthetic Data

Ankur Handa, Viorica Pătrăucean외 3명|arXiv (Cornell University)|2015. 11. 22.

Video Surveillance and Tracking Methods참고 문헌 3인용 수 97

한 줄 요약

이 논문은 심층 기반 학습 데이터를 무한히 생성할 수 있는 합성 3D 장면 데이터셋인 SceneNet을 제안한다. 노이즈 모델을 적용한 현실적인 깊이 맵을 렌더링하여, RGB 정보 없이 깊이 입력만으로도 NYUv2 및 SUN RGB-D에서 거의 최첨단 성능을 달성함으로써, 수동 주석 처리 없이도 합성 데이터가 실제 세계의 장면 이해 능력을 크게 향상시킬 수 있음을 입증한다.

ABSTRACT

Scene understanding is a prerequisite to many high level tasks for any automated intelligent machine operating in real world environments. Recent attempts with supervised learning have shown promise in this direction but also highlighted the need for enormous quantity of supervised data --- performance increases in proportion to the amount of data used. However, this quickly becomes prohibitive when considering the manual labour needed to collect such data. In this work, we focus our attention on depth based semantic per-pixel labelling as a scene understanding problem and show the potential of computer graphics to generate virtually unlimited labelled data from synthetic 3D scenes. By carefully synthesizing training data with appropriate noise models we show comparable performance to state-of-the-art RGBD systems on NYUv2 dataset despite using only depth data as input and set a benchmark on depth-based segmentation on SUN RGB-D dataset. Additionally, we offer a route to generating synthesized frame or video data, and understanding of different factors influencing performance gains.

연구 동기 및 목표

• 실내 장면 이해를 위한 제한된 수의 수동 주석 처리된 학습 데이터라는 핵심적 한계를 해결한다.
• NYUv2 및 SUN RGB-D와 같은 수동 주석 처리 데이터셋의 높은 비용과 확장성 문제를 해결한다.
• 합성된 3D 렌더링 장면에서 유래한 합성 데이터가 깊이 기반 의미적 퍼iks셀 분할에서 실제 데이터셋의 성능을 따라하거나 초월할 수 있는지 탐구한다.
• 딥 네트워크 학습을 위한 프레임 수준 및 비디오 수준의 합성 데이터를 지속 가능하게 생성할 수 있는 파이프라인을 수립한다.
• 데이터 양, 노이즈 모델링, 아키텍처 구성 요소(예: 드롭아웃)가 분할 성능에 미치는 영향을 조사한다.

제안 방법

• 주석 처리된 CAD 모델과 절차적 장면 생성 기법을 사용해 대규모 합성 3D 장면 데이터셋을 생성한다.
• 물리적으로 타당한 렌더링 엔진를 사용해 다양한 시점에서 깊이 맵을 렌더링하며, 센서 노이즈, 데이터 손실 등과 같은 현실적인 노이즈 모델을 적용한다.
• RGB나 노멀 정보 없이 깊이 입력만을 사용해 합성 깊이 데이터로 딥 네트워크(Dense-Net 기반)를 훈련시킨다.
• 시뮬레이션에서 실제 환경으로의 성능 격차를 줄이기 위해 도메인 적응 기법을 사용해 실제 데이터셋(NYUv2, SUN RGB-D)에서 모델을 미세 조정한다.
• 일관성과 일반화 능력을 평가하기 위해 훈련 중 드롭아웃과 같은 데이터 증강 전략을 적용한다.
• 융합된 깊이 맵(DHA)을 입력으로 사용해 특징 표현을 향상시키며, 센서 융합으로 인한 시간적 스무딩을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 합성 깊이 데이터만으로도 실제 데이터셋과 비교해 경쟁적인 의미적 퍼iks셀 분할 성능을 달성할 수 있는가?
• RQ2 합성 데이터의 규모가 NYUv2 및 SUN RGB-D와 같은 실제 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ3 합성 데이터에 포함된 현실적인 노이즈 모델이 실제 센서 데이터로의 일반화 능력 향상에 어떤 역할을 하는가?
• RQ4 합성 데이터로 사전 훈련한 후 실제 데이터에서 미세 조정하면 성능 향상 정도는 어느 정도인가?
• RQ5 합성 데이터와 실제 데이터에서 훈련할 경우, 드롭아웃과 같은 아키텍처 구성 요소가 성능에 미치는 영향은 어떠한가?

주요 결과

• SceneNet-FT-NYU-DHA는 NYUv2에서 전반적인 정확도 66.5%와 클래스 정확도 51.7%를 기록했으며, Eigen 등(2014)의 RGB+깊이 방법(전반적인 정확도 68.0%)에 근접한 성능를 달성했다.
• SUN RGB-D에서 SceneNet-FT-SUNRGBD-DO-DHA는 전반적인 정확도 75.0%와 클래스 정확도 53.1%를 기록했으며, SUNRGBD-DO-DHA(전반적인 정확도 74.2%, 클래스 정확도 52.2%)보다 각각 0.8%와 0.9% 높은 성능를 보였다.
• 기능적 물체 카테고리(예: 바닥, 벽, 테이블)에서 합성 데이터의 성능 향상이 가장 두드러졌으며, 바닥 및 벽 분할에서 최대 20%까지 향상되었다.
• 깊이로 구분하기 어려운 물체(예: 책, TV, 창문)는 성능 향상이 미미했으며, 깊이 정보만으로는 이러한 카테고리에 한계가 있음을 확인했다.
• 실제 데이터에서의 미세 조정은 성능 향상에 크게 기여했다: 전반적인 정확도는 2.2% 향상되었고, 클래스 정확도는 3.9% 향상되었다. NYU-DO-DHA에서 SceneNet-FT-NYU-DO-DHA로 전환할 때 나타난 성과이다.
• 훈련 중 드롭아웃을 추가해도 성능 향상이 미미했으며, 이는 이 설정에서 데이터 다양성의 증가가 정규화 기법보다 더 큰 영향을 미친다는 것을 시사한다.