[논문 리뷰] IRS: A Large Naturalistic Indoor Robotics Stereo Dataset to Train Deep Models for Disparity and Surface Normal Estimation

Qiang Wang, Shizhen Zheng외 4명|arXiv (Cornell University)|2019. 12. 20.

Advanced Vision and Imaging참고 문헌 42인용 수 10

한 줄 요약

이 논문은 고해상도의 디스parity 및 표면 법선 지도를 포함한 100,000장 이상의 스테레오 RGB 이미지를 가진 대규모 합성 실내 스테레오 데이터셋인 IRS를 소개한다. 이 데이터셋은 맞춤형 Unreal Engine 4 파이프라인을 활용해 실제적인 시각적 효과를 시뮬레이션하여 생성되었다. IRS로 훈련된 제안된 이중 단계 DTN-Net 모델은 표면 법선 추정에서 최신 기술 수준의 성능을 달성하며, 합성 및 실제 세계 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Indoor robotics localization, navigation, and interaction heavily rely on scene understanding and reconstruction. Compared to the monocular vision which usually does not explicitly introduce any geometrical constraint, stereo vision-based schemes are more promising and robust to produce accurate geometrical information, such as surface normal and depth/disparity. Besides, deep learning models trained with large-scale datasets have shown their superior performance in many stereo vision tasks. However, existing stereo datasets rarely contain the high-quality surface normal and disparity ground truth, which hardly satisfies the demand of training a prospective deep model for indoor scenes. To this end, we introduce a large-scale synthetic but naturalistic indoor robotics stereo (IRS) dataset with over 100K stereo RGB images and high-quality surface normal and disparity maps. Leveraging the advanced rendering techniques of our customized rendering engine, the dataset is considerably close to the real-world captured images and covers several visual effects, such as brightness changes, light reflection/transmission, lens flare, vivid shadow, etc. We compare the data distribution of IRS with existing stereo datasets to illustrate the typical visual attributes of indoor scenes. Besides, we present DTN-Net, a two-stage deep model for surface normal estimation. Extensive experiments show the advantages and effectiveness of IRS in training deep models for disparity estimation, and DTN-Net provides state-of-the-art results for normal estimation compared to existing methods.

연구 동기 및 목표

• 실내 로봇 응용 분야에서 밀도 있는 디스파리티 및 표면 법선 애너테이션을 갖춘 대규모 고품질 스테레오 데이터셋의 부족을 해결한다.
• 렌즈 플레어, 빛 반사, 간접 그림자와 같은 실제적인 시각적 특성을 결여한 기존 합성 데이터셋의 한계를 극복한다.
• IRS로 훈련된 딥 러닝 프레임워크를 개발하여 실제 세계의 실내 환경에서의 디스파리티 및 표면 법선 추정의 일반화 능력과 정확도를 향상시킨다.
• FlyingThings3D와 같은 기존 합성 데이터셋보다 IRS로 훈련된 모델이 더 잘 일반화됨을 입증한다. 특히 복잡한 실제 세계의 시각적 효과에 대해 뛰어난 성능을 보인다.

제안 방법

• 고도로 발전된 렌더링 기법을 활용한 맞춤형 Unreal Engine 4 렌더링 파이프라인을 사용해 대규모 실내 스테레오 데이터셋(IRS)을 생성한다.
• 빛의 강도 변화, 빛 반사/투과, 렌즈 플레어, 강렬한 그림자와 같은 실제적인 시각적 효과를 통합하여 현실감을 향상시킨다.
• 100,000개 이상의 이미지 쌍에 대해 스테레오 RGB 이미지와 함께 밀도 높은 지도 기반 디스파리티 및 표면 법선 맵을 수집한다.
• 디스파리티를 먼저 예측한 후 예측된 디스파리티 맵을 활용해 표면 법선을 정밀하게 보정하는 이중 단계 딥 네트워크인 DTN-Net을 설계한다.
• IRS에서 모델을 훈련하고, 실제 세계 데이터셋(Middlebury, KITTI)과 비교하여 일반화 능력과 정확도를 평가한다.
• 데이터 증강 및 도메인 적응 기법을 사용해 실제 세계의 시각적 변형에 대한 모델의 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 실제적인 시각적 특성을 갖춘 합성 스테레오 데이터셋이 실제 실내 환경에서의 디스파리티 및 표면 법선 추정에 대한 딥 러닝 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ2 빛의 강도, 조명, 광학적 효과 측면에서 IRS의 시각적 현실감은 FlyingThings3D와 같은 기존 합성 데이터셋에 비해 어떻게 비교되는가?
• RQ3 기존 합성 데이터셋과 비교했을 때 IRS로 훈련하면 실제 세계 스테레오 벤치마크에서 성능 향상이 얼마나 이루어지는가?
• RQ4 예측된 디스파리티 맵을 활용해 표면 법선을 보정하는 이중 단계 딥 러닝 모델(DTN-Net)이 기존의 RGB 전용 또는 디프스 퓨전 모델보다 우수한 성능을 내는가?
• RQ5 훈련 데이터에 렌즈 플레어, 반사와 같은 실제적인 시각적 잡음 요소가 포함될 경우, 과도한 실내 환경에서 더 강인한 예측 성능을 달성할 수 있는가?

주요 결과

• FADNet(IRS)와 같은 IRS로 훈련된 모델은 Middlebury 데이터셋에서 평균 종단 간 오차가 1.86으로, FADNet(FT3D)의 2.68보다 유의미하게 낮아 더 뛰어난 일반화 능력을 보였다.
• DTN-Net은 IRS 데이터셋에서 평균 각도 오차 10.64°를 기록했으며, NormNetS(13.93°)와 DFN-Net(12.81°)를 모두 능가했고, 74.1%의 픽셀에서 오차가 11.25° 이하로 나타났다.
• Intel RealSense D435i로 촬영한 실제 세계 이미지에서 DTN-Net과 IRS로 훈련된 FADNet은 반사성 표면과 무늬가 있는 표면에서도 일관되고 정확한 표면 법선 및 디스파리티 맵을 생성했다.
• 정성적 결과 분석에서 IRS로 훈련된 모델은 FlyingThings3D로 훈련된 모델보다 렌즈 플레어와 거울 반사와 같은 도전적인 시각적 효과를 더 잘 처리하는 것으로 나타났다.
• IRS는 현실적인 렌더링과 고품질 지도 기반 레이블을 동시에 제공함으로써, 이전 데이터셋 대비 합성 및 실제 세계 벤치마크에서 모두 뛰어난 성능을 달성했다.
• 디스파리티 예측 결과를 활용해 표면 법선을 보정하는 이중 단계 DTN-Net 아키텍처는 최신 기술 수준의 성능을 달성했으며, 기하학적 사전 지식을 딥 러닝 모델에 통합하는 가치를 입증했다.