[论文解读] Geometry-Aware Neural Rendering

Joshua Tobin, Robotics, OpenAI+1 more|arXiv (Cornell University)|Oct 28, 2019

3D Shape Modeling and Analysis被引用 12

一句话总结

本文提出了一种几何感知注意力机制——视差交叉注意力（Epipolar Cross-Attention, ECA），通过利用视差几何关系高效建模长程空间依赖，将计算复杂度从每空间维度的 O(n²) 降低至 O(n)，从而提升神经渲染性能。ECA 使生成查询网络（Generative Query Networks, GQN）在包含活动物体与多样化环境的复杂、高维机器人场景中实现显著性能提升，涵盖新型模拟数据集。

ABSTRACT

Understanding the 3-dimensional structure of the world is a core challenge in computer vision and robotics. Neural rendering approaches learn an implicit 3D model by predicting what a camera would see from an arbitrary viewpoint. We extend existing neural rendering to more complex, higher dimensional scenes than previously possible. We propose Epipolar Cross Attention (ECA), an attention mechanism that leverages the geometry of the scene to perform efficient non-local operations, requiring only $O(n)$ comparisons per spatial dimension instead of $O(n^2)$. We introduce three new simulated datasets inspired by real-world robotics and demonstrate that ECA significantly improves the quantitative and qualitative performance of Generative Query Networks (GQN).

研究动机与目标

• 提升机器人领域中常见复杂、高维场景下的神经渲染性能，此类场景中传统方法难以处理长程空间依赖问题。
• 解决标准非局部注意力机制随图像尺寸呈平方级增长的计算效率低下问题。
• 将相机视角的几何约束整合至神经渲染中，以实现更精确的 3D 场景理解。
• 构建并评估新型模拟数据集，以高自由度与复杂物体交互挑战现有神经渲染模型。
• 证明几何感知注意力可同时提升生成建模的定量指标与定性图像合成质量。

提出的方法

• 提出视差交叉注意力（ECA），一种利用相机视角间视差几何关系，为每个查询像素识别上下文图像中相关特征的注意力机制。
• 通过从上下文图像中沿视差线提取特征，构建视差表示张量 eᵏ，确保多视角间几何一致性。
• 利用 ECA 计算注意力图 aˡ，聚合视差表示中相关空间位置的贡献，实现高效非局部操作。
• 将 ECA 集成至生成查询网络（GQN）框架中，用几何引导的特征聚合替代解码器中的标准注意力机制。
• 采用带有潜在变量 zₗ 的跳跃连接卷积长短期记忆网络（LSTM）解码器，逐步建模不确定性并生成图像。
• 采用变分推理目标端到端训练模型，优化查询图像对数似然的下界。

实验结果

研究问题

• RQ1 来自相机位姿的几何先验是否能提升复杂 3D 场景中神经渲染的效率与准确性？
• RQ2 与标准非局部注意力相比，ECA 是否在保持或提升性能的同时降低计算复杂度？
• RQ3 E-GQN 是否能泛化至具有复杂物体与运动的高维、物理上合理的机器人环境？
• RQ4 在新型数据集上，ECA 与基线 GQN 在对数似然、重建误差与视觉质量方面表现如何？
• RQ5 引入视差几何在多大程度上增强了模型对 3D 场景空间结构的推理能力？

主要发现

• 在所有测试数据集（包括新型机器人模拟环境）上，E-GQN 相较于标准 GQN 显著提升了负对数似然的下界（ELBO）。
• 在复杂数据集（如 Disco Humanoid 和 Room-Random-Objects）上，模型将每像素平均绝对误差（MAE）降低了最多 20%，表明重建保真度更高。
• 定性结果表明，E-GQN 生成的图像更清晰、更连贯，且在遮挡区域或复杂物体排列区域的伪影更少。
• 尽管因额外计算导致推理速度降低约 30%，但 E-GQN 由于数据效率更高，能在更短的实际运行时间内达到目标损失值。
• 引入三个新型模拟数据集（Disco Humanoid、OpenAI Block 和 Room-Random-Objects）证明了模型处理高自由度与多样化物体类型的能力。
• ECA 通过仅关注视差线，使模型能够捕捉上下文图像中远距离像素间的长程依赖，将每空间维度的 O(n²) 比较减少至 O(n)。