[论文解读] Deep Learning for Spacecraft Pose Estimation from Photorealistic Rendering

Pedro F. Proença|arXiv (Cornell University)|Jul 9, 2019

Space Satellite Systems and Control参考文献 34被引用 38

一句话总结

本文提出 URSO，一种基于 Unreal Engine 4 的照片真实感仿真器，以及一种使用概率方向软分类来估计已知航天器从单张图像得到的 6D 位姿的深度学习框架，在 ESA 挑战中取得较高排名（合成数据第3，真实数据第2）。

ABSTRACT

On-orbit proximity operations in space rendezvous, docking and debris removal require precise and robust 6D pose estimation under a wide range of lighting conditions and against highly textured background, i.e., the Earth. This paper investigates leveraging deep learning and photorealistic rendering for monocular pose estimation of known uncooperative spacecrafts. We first present a simulator built on Unreal Engine 4, named URSO, to generate labeled images of spacecrafts orbiting the Earth, which can be used to train and evaluate neural networks. Secondly, we propose a deep learning framework for pose estimation based on orientation soft classification, which allows modelling orientation ambiguity as a mixture of Gaussians. This framework was evaluated both on URSO datasets and the ESA pose estimation challenge. In this competition, our best model achieved 3rd place on the synthetic test set and 2nd place on the real test set. Moreover, our results show the impact of several architectural and training aspects, and we demonstrate qualitatively how models learned on URSO datasets can perform on real images from space.

研究动机与目标

• 在光照和地球背景多样化的条件下，推动并实现对已知非合作航天器的单目 6D 位姿估计。
• 提供一个照片真实感的数据生成器（URSO）以在类太空场景中训练和评估 DL 模型。
• 提出一种使用方向软分类来建模角度不确定性的位姿估计框架，将不确定性建模为高斯混合。
• 展示仿真到真实的传输有效性并分析影响性能的体系结构/训练因素。

提出的方法

• 构建 URSO，一个基于 Unreal Engine 4 的仿真器，用以渲染带有地球纹理和深度掩模的高照片真实感航天器图像以生成带标签的数据。
• 采用基于 ResNet 的主干网络，配合简化的端到端位姿估计头；在总损失中使用相对平移损失和一个方向项。
• 通过对离散化方向空间的高斯核编码（K）进行概率性软分类来提出方向估计，并在测试时使用加权最小二乘回归。
• 通过一个 EM 框架拟合高斯混合模型来实现多模态的方向估计，在视角模糊时恢复多种方向假设。
• 通过数据增强进行训练，包括随机相机扰动和仿真到真实的后处理（灰度化、曝光/对比度变化、AWG 噪声、模糊、补丁丢失）。
• 在 URSO 数据集和 ESA SPEED 基准上评估，比较方向回归、软分类和多模态等方法。

实验结果

研究问题

• RQ1 基于照片真实感的 Unity/UE4 仿真器是否能提供带标记的数据，从而实现对已知航天器的鲁棒单目 6D 位姿估计？
• RQ2 在不同视角和光照条件下，方向软分类（概率性、以高斯编码表示）是否优于直接的四元数回归进行姿态估计？
• RQ3 数据增强和仿真到真实的传输如何影响真实太空图像上的性能？
• RQ4 多模态方向估计是否能有效解决对称或模糊视角下的感知模糊问题？

主要发现

• URSO 能生成用于训练航天姿态估计的带标签的现实感强的合成数据。
• 方向软分类在角度精度上优于直接的方向回归。
• 使用高斯混合模型进行方向建模（多模态）有助于处理模糊视角，并能更好地检测前两名假设。
• 数据增强，尤其是相机扰动和仿真到真实的后处理，显著提升仿真到真实的传输能力和真实图像的精度。
• 在 ESA SPEED 基准上，最佳单模型实现了 0.1630 的真实误差和 0.0604 的合成误差；第二个模型实现了 0.144 的真实错误和 0.067 的合成误差，三重集成进一步提升（排名细节：合成测试集第 3，真实测试集第 2）。
• 该方法对图像分辨率和网络深度存在敏感性，50 层 ResNet 提供了强大性能且更高的分辨率有助于方向估计。