[论文解读] 3D Reconstruction of Incomplete Archaeological Objects Using a Generative Adversary Network

Renato Hermoza, Ivan Sipiran|arXiv (Cornell University)|Nov 17, 2017

Image Processing and 3D Reconstruction参考文献 23被引用 3

一句话总结

本文提出 ORGAN，一种条件生成对抗网络（GAN），通过结合双损失目标的3D编码器-解码器架构，重建不完整的3D考古物体。该模型基于文化或地区等元数据进行条件控制，即使超过50%的体素缺失，也能准确恢复缺失的几何结构，同时最小化结构误差。

ABSTRACT

We introduce a data-driven approach to aid the repairing and conservation of archaeological objects: ORGAN, an object reconstruction generative adversarial network (GAN). By using an encoder-decoder 3D deep neural network on a GAN architecture, and combining two loss objectives: a completion loss and an Improved Wasserstein GAN loss, we can train a network to effectively predict the missing geometry of damaged objects. As archaeological objects can greatly differ between them, the network is conditioned on a variable, which can be a culture, a region or any metadata of the object. In our results, we show that our method can recover most of the information from damaged objects, even in cases where more than half of the voxels are missing, without producing many errors.

研究动机与目标

• 解决在最小人工干预下重建受损3D考古物体的挑战。
• 开发一种数据驱动的方法，通过基于文化或地区元数据的条件控制，实现对多样化考古物体类型的泛化。
• 在严重遮挡或几何结构缺失的情况下（例如超过一半体素缺失），提升重建保真度。
• 通过新颖的损失函数设计，减少生成重建中的伪影和几何误差。

提出的方法

• 该方法在生成对抗网络（GAN）框架内采用3D编码器-解码器神经网络架构。
• 生成器网络基于输入的局部扫描，预测不完整3D物体的缺失几何结构。
• 通过文化或地区等元数据对模型进行条件控制，以引入领域特定的先验知识。
• 使用两种损失函数：完成损失以最小化重建误差，改进的Wasserstein GAN损失以稳定训练并提升样本质量。
• 判别器通过区分真实与生成的不完整物体，评估生成形状的真实性。
• 网络端到端训练，以同时优化重建形状的几何准确性和感知真实感。

实验结果

研究问题

• RQ1 条件GAN能否有效重建体素缺失超过50%的3D考古物体？
• RQ2 基于文化或地区元数据的条件控制在多大程度上提升了重建准确度和在多样化文物类型上的泛化能力？
• RQ3 将完成损失与改进的Wasserstein GAN损失结合，能在多大程度上减少伪影并提升生成重建的结构保真度？
• RQ4 在仅使用元数据条件控制的情况下，模型能否在无需微调的前提下泛化到未见过的物体类别？

主要发现

• 所提出的方法即使在超过一半体素缺失的情况下，也能成功恢复大多数缺失的几何结构。
• 基于文化或地区等元数据的条件控制显著提升了重建准确度和结构一致性。
• 完成损失与改进的Wasserstein GAN损失的结合，相比基线方法，能生成更少伪影且更逼真的形状。
• 该模型在无需为每种类别重新训练的情况下，对多样化考古物体类型表现出良好的泛化能力。