[论文解读] Adversarial Texture Optimization from RGB-D Scans

Jingwei Huang, Justus Thies+6 more|arXiv (Cornell University)|Mar 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 9

一句话总结

本文提出了一种新颖的对抗性纹理优化框架，通过训练一种基于图像块的条件判别器，使其对几何和相机位姿的错位具有鲁棒性，从而从RGB-D扫描中生成逼真的纹理。通过使用真实且错位的图像对作为‘真实’训练样本，该方法学习了一种对错位具有容忍能力的损失函数，生成的纹理比最先进方法更清晰、更逼真，且无需显式参数化建模误差。

ABSTRACT

Realistic color texture generation is an important step in RGB-D surface reconstruction, but remains challenging in practice due to inaccuracies in reconstructed geometry, misaligned camera poses, and view-dependent imaging artifacts. In this work, we present a novel approach for color texture generation using a conditional adversarial loss obtained from weakly-supervised views. Specifically, we propose an approach to produce photorealistic textures for approximate surfaces, even from misaligned images, by learning an objective function that is robust to these errors. The key idea of our approach is to learn a patch-based conditional discriminator which guides the texture optimization to be tolerant to misalignments. Our discriminator takes a synthesized view and a real image, and evaluates whether the synthesized one is realistic, under a broadened definition of realism. We train the discriminator by providing as `real' examples pairs of input views and their misaligned versions -- so that the learned adversarial loss will tolerate errors from the scans. Experiments on synthetic and real data under quantitative or qualitative evaluation demonstrate the advantage of our approach in comparison to state of the art. Our code is publicly available with video demonstration.

研究动机与目标

• 解决在存在常见误差（如相机位姿错位和噪声几何）的情况下，从RGB-D扫描中生成逼真纹理的挑战。
• 克服传统优化方法依赖手工设计的参数化模型进行相机对齐、图像映射或色彩平衡的局限性。
• 开发一种内在对扫描伪影和错位具有鲁棒性的学习型对抗目标函数。
• 即使在几何和位姿存在显著差异的情况下，也能实现对真实扫描和CAD模型的高质量纹理化，结合真实世界图像。

提出的方法

• 训练一个条件判别器，以区分从错位扫描重投影的真实图像与从优化纹理渲染的合成图像。
• 判别器在真实与错位视图配对上进行训练，因此能够容忍常见扫描误差，同时检测模糊或接缝等合成伪影。
• 通过对抗损失与判别器联合执行纹理优化，促使生成的纹理与真实重投影视图难以区分。
• 该框架通过学习的度量隐式聚合来自多视角的颜色信息，避免了显式的视角选择或混合策略。
• 该方法采用基于图像块的判别器，专注于局部真实感，从而提升细节纹理质量。
• 该方法被应用于与扫描对齐的真实扫描和CAD模型，即使存在严重的几何不匹配，也能实现逼真的纹理化。

实验结果

研究问题

• RQ1 能否在不显式参数化建模误差的情况下，使学习型对抗损失对RGB-D扫描中的常见错位具有鲁棒性？
• RQ2 与基于L1/L2或感知损失的传统方法相比，对抗性纹理优化在清晰度和逼真度方面表现如何？
• RQ3 所提出的方法能否在仅粗略对齐于真实扫描的CAD模型上生成高质量纹理？
• RQ4 判别器对错位的泛化能力在多大程度上提升了纹理质量，相比基线优化目标？
• RQ5 该方法在真实扫描误差（如噪声几何和不准确的相机位姿）下的表现如何？

主要发现

• 在真实物体扫描上，该方法的感知损失最低（0.175），优于L1（0.197）、ColorMap（0.186）、Sharpest（0.222）、3DLite（0.185）和VGG（0.272）。
• 在ScanNet场景扫描上，该方法的感知损失为0.395，显著低于次优方法（3DLite为0.445）。
• 在几何错位的CAD模型上，该方法的感知损失为0.176，优于所有基线方法，包括VGG（0.289）。
• 在63名参与者参与的用户研究中，该方法在生成最接近输入图像的渲染结果方面优于所有基线方法。
• 与最先进方法相比，该方法生成的纹理更清晰，模糊、噪声和接缝伪影更少，尤其在严重错位情况下表现更优。
• 该框架在单张TITAN X GPU上每对象耗时7.3分钟，每场景耗时33.4分钟，证明了其实际可行性。