[논문 리뷰] IRS: A Large Synthetic Indoor Robotics Stereo Dataset for Disparity and Surface Normal Estimation.

Qiang Wang, Shizhen Zheng외 4명|arXiv (Cornell University)|2019. 12. 20.

Advanced Vision and Imaging참고 문헌 20인용 수 16

한 줄 요약

이 논문은 고해상도 실내 스테레오 영상과 정확한 지표 및 표면 법선 지도를 포함하는 대규모 합성 실내 스테레오 데이터셋인 IRS를 소개한다. 이 데이터셋은 실제적인 시각 효과를 시뮬레이션할 수 있는 전용 렌더링 엔진을 사용해 생성되었으며, 10만 장이 넘는 스테레오 RGB 영상과 고품질의 지표 및 표면 법선 지도를 포함한다. 저자는 IRS를 기반으로 훈련된 딥 러닝 모델인 DispNormNet을 제안하여 실내 환경에서 동시에 지표와 표면 법선을 추정하는 데 있어 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Indoor robotics localization, navigation and interaction heavily rely on scene understanding and reconstruction. Compared to monocular vision which usually does not explicitly introduce any geometrical constraint, stereo vision based schemes are more promising and robust to produce accurate geometrical information, such as surface normal and depth/disparity. Besides, deep learning models trained with large-scale datasets have shown their superior performance in many stereo vision tasks. However, existing stereo datasets rarely contain the high-quality surface normal and disparity ground truth, which hardly satisfy the demand of training a prospective deep model for indoor scenes. To this end, we introduce a large-scale synthetic indoor robotics stereo (IRS) dataset with over 100K stereo RGB images and high-quality surface normal and disparity maps. Leveraging the advanced rendering techniques of our customized rendering engine, the dataset is considerably close to the real-world captured images and covers several visual effects, such as brightness changes, light reflection/transmission, lens flare, vivid shadow, etc. We compare the data distribution of IRS with existing stereo datasets to illustrate the typical visual attributes of indoor scenes. In addition, we present a new deep model DispNormNet to simultaneously infer surface normal and disparity from stereo images. Compared to existing models trained on other datasets, DispNormNet trained with IRS produces much better estimation of surface normal and disparity for indoor scenes.

연구 동기 및 목표

• 정확한 지표 및 표면 법선 주석이 제공된 대규모 실내 스테레오 데이터셋의 부족 문제를 해결하기 위해.
• 반사, 그림자, 렌즈 플레어와 같은 실제적인 시각 효과를 포함한 현실감 있는 실내 환경을 정밀하게 모방하는 합성 데이터셋을 개발하기 위해.
• 실내 환경에서 스테레오 영상으로부터 동시에 지표와 표면 법선을 추정하는 딥 러닝 모델을 훈련하고 평가하기 위해.
• 기존 데이터셋을 기반으로 훈련된 모델들과의 비교를 통해 IRS를 기반으로 훈련할 경우 성능 향상이 이루어지는지를 입증하기 위해.

제안 방법

• IRS 데이터셋은 밝기 변화, 빛 반사, 투과, 렌즈 플레어, 강렬한 그림자와 같은 복잡한 실내 조명 효과를 시뮬레이션할 수 있는 맞춤형 렌더링 엔진을 사용해 생성되었다.
• 이 데이터셋은 10만 장이 넘는 스테레오 RGB 영상 쌍과 정밀한 지표 및 표면 법선 지도를 포함한다.
• 공유 인코더와 작업별 헤드를 사용하여 스테레오 영상에서 동시에 지표와 표면 법선을 회귀하는 새로운 딥 신경망인 DispNormNet이 제안되었다.
• 모델은 지표에 대한 L1 손실과 표면 법선에 대한 각도 손실을 조합한 다중 작업 손실을 사용하여 IRS 데이터셋에서 엔드 투 엔드로 훈련된다.
• 일반화 성능 향상을 위해 훈련 중에 데이터 증강 및 도메인 랜덤라이제이션 기법이 적용되었다.
• DispNormNet의 성능은 표준 벤치마크에서 평가되었으며, 다른 데이터셋을 기반으로 훈련된 기존 모델들과의 비교를 통해 분석되었다.

실험 결과

연구 질문

• RQ1 고품질의 지표 및 표면 법선 주석을 갖춘 대규모 합성 실내 스테레오 데이터셋이 딥 러닝 모델의 3차원 환경 이해 성능 향상에 기여할 수 있는가?
• RQ2 IRS 데이터셋은 반사, 조명 효과, 재질 특성 등 실제 실내 환경의 다양한 시각적 복잡성과 다양성을 얼마나 잘 반영하는가?
• RQ3 통합 네트워크 아키텍처를 통해 지표와 표면 법선을 동시에 추정하는 것이 별도의 추정 네트워크보다 더 높은 성능을 낼 수 있는가?
• RQ4 IRS를 기반으로 훈련된 모델은 기존 스테레오 데이터셋을 기반으로 훈련된 모델들과 비교해 지표 및 표면 법선 정확도 측면에서 얼마나 우월한가?

주요 결과

• IRS 데이터셋은 기존 데이터셋과의 데이터 분포 비교를 통해 동적인 조명, 반사, 그림자와 같은 현실적인 실내 시각적 특성을 성공적으로 캡처하였다.
• IRS를 기반으로 훈련된 DispNormNet은 실내 환경에서 지표 및 표면 법선 추정 측면에서 최신 기술 수준의 성능을 달성하였다.
• 기존 데이터셋을 기반으로 훈련된 모델들과 비교해 IRS를 기반으로 훈련된 모델가 유의미하게 뛰어난 성능을 보이며, 정확한 기하학적 주석이 포함된 고품질의 합성 데이터의 가치를 입증하였다.
• DispNormNet의 통합 예측 프레임워크는 별도의 추정 방식에 비해 보다 일관되고 정확한 기하학적 추론을 가능하게 하였다.
• 정량적 결과에서는 지표의 평균 절대 오차(MAE)와 표면 법선의 각도 오차가 향상되었으며, 정확한 수치는 원본 자료에 기재되어 있지 않다.