[论文解读] GONet++: Traversability Estimation via Dynamic Scene View Synthesis.

Noriaki Hirose, Amir Sadeghian+2 more|arXiv (Cornell University)|Jun 22, 2018

Robot Manipulation and Learning参考文献 28被引用 3

一句话总结

本文提出 GONet++，一种仅使用两个连续时间步的 RGB 图像，通过合成动态场景视图来估计未来机器人可通行性的方法。它通过两个网络（SNet 和 DNet）分离相机位姿变化与动态障碍物运动，生成准确的未来图像，从而在静态和动态环境中均提升了可通行性预测性能，并在远程操作应用中得到验证。

ABSTRACT

We present VUNet, a novel view(VU) synthesis method for mobile robots in dynamic environments, and its application to the estimation of future traversability. Our method predicts future images for given virtual robot velocity commands using only RGB images at previous and current time steps. The future images result from applying two types of image changes to the previous and current images: 1) changes caused by different camera pose, and 2) changes due to the motion of the dynamic obstacles. We learn to predict these two types of changes disjointly using two novel network architectures, SNet and DNet. We combine SNet and DNet to synthesize future images that we pass to our previously presented method GONet to estimate the traversable areas around the robot. Our quantitative and qualitative evaluation indicate that our approach for view synthesis predicts accurate future images in both static and dynamic environments. We also show that these virtual images can be used to estimate future traversability correctly. We apply our view synthesis-based traversability estimation method to two applications for assisted teleoperation.

研究动机与目标

• 通过仅使用两个时间步的 RGB 图像，在动态环境中实现移动机器人未来场景视图的准确合成。
• 在图像变化中分离相机运动与动态障碍物运动的影响，以提升视图合成质量。
• 利用合成的未来图像提升机器人导航的可通行性估计性能。
• 在真实应用场景（如辅助远程操作）中验证该方法。
• 通过定量与定性评估，证明该方法在静态与动态环境中均具备鲁棒性。

提出的方法

• 该方法采用一种新颖的视图合成网络 VUNet，通过建模两类不同的图像变化（相机位姿偏移与动态障碍物运动）来预测未来图像。
• SNet 是一个专用网络，基于两个时间步之间的相对机器人位姿，预测由相机运动引起的图像变化。
• DNet 是一个独立网络，利用两个输入图像中的外观与运动线索，预测由移动障碍物引起的图像变化。
• SNet 和 DNet 的输出被合并，以合成完整的未来图像，模拟机器人在未来位姿下的视图。
• 合成的未来图像随后输入至 GONet（一个先前开发的可通行性估计模型），以预测可通行区域。
• 该方法仅依赖 RGB 输入，无需深度信息、目标检测或场景分割网络。

实验结果

研究问题

• RQ1 仅使用两张 RGB 图像和机器人速度指令，能否在动态环境中准确合成未来场景视图？
• RQ2 通过 SNet 和 DNet 分离相机运动与动态障碍物运动，是否能提升合成未来图像的质量？
• RQ3 与仅依赖实时感知相比，合成的未来图像是否能提升可通行性估计的准确性？
• RQ4 该方法在涉及动态障碍物的真实远程操作场景中效果如何？
• RQ5 该方法是否能在无需显式场景理解的前提下，泛化应用于静态与动态环境？

主要发现

• 所提出的视图合成方法在静态与动态环境中均生成了高保真度的未来图像，经定性与定量评估验证。
• 通过 SNet 和 DNet 分离相机位姿变化与动态障碍物运动，显著提升了图像合成的准确度与真实感。
• 将合成图像作为 GONet 的输入，可显著提升可通行性估计的准确性。
• 该方法成功支持了两项辅助远程操作应用，证明了其在真实场景中的实用价值。
• 该方法在无需深度传感器、目标检测或场景分割的前提下实现稳健性能，仅依赖 RGB 输入。