[论文解读] Large Scale Joint Semantic Re-Localisation and Scene Understanding via Globally Unique Instance Coordinate Regression

Ignas Budvytis, Marvin Teichmann+2 more|arXiv (Cornell University)|Sep 23, 2019

Advanced Image and Video Retrieval Techniques被引用 15

一句话总结

该论文提出了一种新颖的两阶段深度学习框架，用于大规模联合语义重定位与场景理解，通过联合回归全局唯一的实例标签和每个物体的局部3D坐标实现。通过将物体实例识别与局部坐标预测解耦，该方法在CamVid-360数据集上实现了最先进的6-DoF相机位姿估计性能，中位数距离误差为22 cm，角度误差为0.71°，在真实和合成数据集上均优于先前方法，包括大规模和近似3D地图。

ABSTRACT

In this work we present a novel approach to joint semantic localisation and scene understanding. Our work is motivated by the need for localisation algorithms which not only predict 6-DoF camera pose but also simultaneously recognise surrounding objects and estimate 3D geometry. Such capabilities are crucial for computer vision guided systems which interact with the environment: autonomous driving, augmented reality and robotics. In particular, we propose a two step procedure. During the first step we train a convolutional neural network to jointly predict per-pixel globally unique instance labels and corresponding local coordinates for each instance of a static object (e.g. a building). During the second step we obtain scene coordinates by combining object center coordinates and local coordinates and use them to perform 6-DoF camera pose estimation. We evaluate our approach on real world (CamVid-360) and artificial (SceneCity) autonomous driving datasets. We obtain smaller mean distance and angular errors than state-of-the-art 6-DoF pose estimation algorithms based on direct pose regression and pose estimation from scene coordinates on all datasets. Our contributions include: (i) a novel formulation of scene coordinate regression as two separate tasks of object instance recognition and local coordinate regression and a demonstration that our proposed solution allows to predict accurate 3D geometry of static objects and estimate 6-DoF pose of camera on (ii) maps larger by several orders of magnitude than previously attempted by scene coordinate regression methods, as well as on (iii) lightweight, approximate 3D maps built from 3D primitives such as building-aligned cuboids.

研究动机与目标

• 通过统一语义理解与6-DoF相机位姿估计，解决真实世界机器人和自动驾驶中对鲁棒、可扩展且可验证定位系统的需求。
• 克服在大规模环境中直接进行6-DoF位姿回归和场景坐标回归的局限性，特别是在结构缺失或领域偏移等挑战性条件下的表现。
• 通过使用基于3D基元（如与建筑对齐的长方体）构建的轻量化近似3D地图，实现准确的相机重定位，降低对密集3D点云的依赖。
• 通过将场景坐标回归重新表述为实例分割与局部坐标回归的解耦任务，提升训练收敛速度和预测精度。
• 在多样化场景中展示泛化能力，包括真实世界（CamVid-360）和合成（SceneCity）数据集，以及跨相机重定位（如Google街景）。

提出的方法

• 训练卷积神经网络（CNN）以预测每个像素的全局唯一实例标签及其相对于物体中心的局部3D坐标。
• 将场景坐标回归分解为两个独立任务：(1) 带有全局唯一标识符的实例级语义分割，(2) 每个实例的局部坐标回归。
• 通过结合预计算的3D地图中预测的物体中心坐标与每个像素的局部坐标，重建全局3D场景坐标。
• 使用PnP（Perspective-n-Point）算法从重建的3D场景坐标估计6-DoF相机位姿。
• 利用SfM（运动恢复结构）从密集采样的视频序列生成精确的3D点云，用于训练和评估。
• 采用多任务损失函数进行网络训练，结合L1、L2和表示损失（L5-LRec-Lab），并通过消融研究验证设计选择。

实验结果

研究问题

• RQ1 能否将场景坐标回归有效分解为实例识别与局部坐标预测，以在大规模环境中提升可扩展性和精度？
• RQ2 与最先进的直接位姿回归和基于场景坐标的模型相比，该方法在大规模真实世界（CamVid-360）和合成（SceneCity）数据集上的6-DoF相机重定位性能如何？
• RQ3 该方法在挑战性场景（如使用不同相机（如Google街景）或缺少建筑物的场景）下的泛化能力如何？
• RQ4 能否通过使用基于3D基元（如长方体）构建的轻量化近似3D地图，实现准确的6-DoF位姿估计，从而降低计算成本？
• RQ5 将实例标签与局部坐标预测分离，是否能带来比端到端场景坐标回归更快的收敛速度和更优的性能？

主要发现

• 该方法在CamVid-360数据集上实现了22 cm的中位数距离误差和0.71°的中位数角度误差，优于基于直接6-DoF回归和场景坐标估计的最先进方法。
• 在更大的SceneCity Medium数据集上，该方法实现了20 cm的中位数距离误差和0.76°的中位数角度误差，表明其在城市规模环境中的可扩展性。
• 在CamVid-360上，超过53%的像素预测值在真实位置的50 cm以内；在SceneCity Medium上为39%，表明具有高几何精度。
• L5-LRec-Lab损失（联合实例标签与局部坐标预测）在大规模地图上的定位精度比所有基线方法（包括PoseNet和L3-Rec-Repr）高出17%以上。
• 在Google街景图像或缺少建筑物的场景中测试时，该方法表现出比其他方法更高的鲁棒性，表明其在领域偏移下的强泛化能力。
• 使用基于长方体构建的近似3D地图，该方法在Small SceneCity数据上优于L5-LRec-Lab，并超越PoseNet和L3-3D-Repr，表明其在低成本、可扩展部署中的可行性。