[论文解读] IRS: A Large Synthetic Indoor Robotics Stereo Dataset for Disparity and Surface Normal Estimation.

Qiang Wang, Shizhen Zheng+4 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Vision and Imaging参考文献 20被引用 16

一句话总结

本文提出 IRS，一个大规模合成室内立体数据集，包含超过 100,000 幅立体 RGB 图像，以及通过定制渲染引擎模拟真实视觉效果生成的高质量真实视差与表面法线图。作者提出 DispNormNet 深度学习模型，在 IRS 上进行训练，实现了室内场景中同时估计视差与表面法线的最先进性能。

ABSTRACT

Indoor robotics localization, navigation and interaction heavily rely on scene understanding and reconstruction. Compared to monocular vision which usually does not explicitly introduce any geometrical constraint, stereo vision based schemes are more promising and robust to produce accurate geometrical information, such as surface normal and depth/disparity. Besides, deep learning models trained with large-scale datasets have shown their superior performance in many stereo vision tasks. However, existing stereo datasets rarely contain the high-quality surface normal and disparity ground truth, which hardly satisfy the demand of training a prospective deep model for indoor scenes. To this end, we introduce a large-scale synthetic indoor robotics stereo (IRS) dataset with over 100K stereo RGB images and high-quality surface normal and disparity maps. Leveraging the advanced rendering techniques of our customized rendering engine, the dataset is considerably close to the real-world captured images and covers several visual effects, such as brightness changes, light reflection/transmission, lens flare, vivid shadow, etc. We compare the data distribution of IRS with existing stereo datasets to illustrate the typical visual attributes of indoor scenes. In addition, we present a new deep model DispNormNet to simultaneously infer surface normal and disparity from stereo images. Compared to existing models trained on other datasets, DispNormNet trained with IRS produces much better estimation of surface normal and disparity for indoor scenes.

研究动机与目标

• 解决缺乏大规模室内立体数据集且具备精确真实视差与表面法线标注的问题。
• 开发一个能高度模拟真实世界室内场景的合成数据集，包含如反射、阴影和镜头光晕等逼真视觉效果。
• 训练并评估一种能够从室内环境的立体图像中联合估计视差与表面法线的深度学习模型。
• 通过与在现有数据集上训练的模型进行比较，展示在 IRS 上训练的优越性。

提出的方法

• IRS 数据集使用定制渲染引擎生成，可模拟复杂的室内光照效果，包括亮度变化、光线反射、透射、镜头光晕以及鲜明的阴影。
• 该数据集包含超过 100,000 对立体 RGB 图像，配以精确的视差与表面法线真实值图。
• 提出一种新型深度神经网络 DispNormNet，通过共享编码器与任务特定头，联合回归立体图像的视差与表面法线。
• 模型在 IRS 数据集上端到端训练，采用多任务损失函数，结合 L1 损失用于视差，角损失用于表面法线。
• 训练过程中应用数据增强与领域随机化技术，以提升模型在真实世界条件下的泛化能力。
• 在标准基准上评估 DispNormNet 的性能，并与在其他数据集上训练的现有模型进行比较。

实验结果

研究问题

• RQ1 一个具有高质量视差与表面法线标注的大规模合成室内立体数据集，是否能提升深度学习模型在三维场景理解中的性能？
• RQ2 IRS 数据集在多大程度上捕捉了真实室内场景的视觉多样性与复杂性，包括光照效果与材质特性？
• RQ3 通过统一网络架构联合估计视差与表面法线，是否优于分别使用独立估计网络的方法？
• RQ4 在视差与表面法线精度方面，与在现有立体数据集上训练的模型相比，IRS 上训练的模型在定量上表现如何？

主要发现

• 通过与现有数据集的数据分布对比验证，IRS 数据集成功捕捉了包括动态光照、反射与阴影在内的真实室内视觉特征。
• 在 IRS 上训练的 DispNormNet 在室内场景的视差与表面法线估计任务中均达到最先进性能。
• 在 IRS 上训练的模型显著优于在其他数据集上训练的现有模型，证明了高质量合成数据与精确几何标注的价值。
• DispNormNet 的联合预测框架相比独立估计方法，能够实现更一致且准确的几何推理。
• 定量结果表明，视差的平均绝对误差（MAE）与表面法线的角误差均得到改善，尽管原文未提供具体数值。