[論文レビュー] 3D Reconstruction of Incomplete Archaeological Objects Using a Generative Adversary Network

Renato Hermoza, Ivan Sipiran|arXiv (Cornell University)|Nov 17, 2017

Image Processing and 3D Reconstruction参考文献 23被引用数 3

ひとこと要約

本論文では、3Dエンコーダ・デコーダアーキテクチャと二重損失目的関数（補完損失と改善型ワサーベルGAN損失）を用いた条件付き生成対抗ネットワーク（GAN）であるORGANを提案する。このモデルは文化や地域などのメタデータに条件付けられており、50％以上のボクセルが欠落している場合でさえも、構造的誤差を最小限に抑えて、欠損した幾何形状を正確に回復できる。

ABSTRACT

We introduce a data-driven approach to aid the repairing and conservation of archaeological objects: ORGAN, an object reconstruction generative adversarial network (GAN). By using an encoder-decoder 3D deep neural network on a GAN architecture, and combining two loss objectives: a completion loss and an Improved Wasserstein GAN loss, we can train a network to effectively predict the missing geometry of damaged objects. As archaeological objects can greatly differ between them, the network is conditioned on a variable, which can be a culture, a region or any metadata of the object. In our results, we show that our method can recover most of the information from damaged objects, even in cases where more than half of the voxels are missing, without producing many errors.

研究の動機と目的

• 最小限の人的介入で損傷した3D考古学的物体を再構成する課題に対処すること。
• 文化的・地域的メタデータに条件付けられることで、多様な考古学的物体タイプに一般化可能なデータ駆動型アプローチを開発すること。
• 特にボクセルの半数以上が欠落しているような重度の隠蔽状態でも、再構成の忠実度を向上させること。
• 新しい損失関数設計により、生成された再構成におけるアーチファクトや幾何的誤差を低減すること。

提案手法

• 本手法は、生成対抗ネットワーク（GAN）フレームワーク内に3Dエンコーダ・デコーダニューラルネットワークアーキテクチャを採用する。
• 生成器ネットワークは、入力となる部分スキャンに基づいて、不完全な3D物体の欠損した幾何形状を予測する。
• 分野固有の事前知識を導入するために、文化や地域などのメタデータに条件付けられて再構成をガイドする。
• 二つの損失関数が用いられる：再構成誤差を最小化する補完損失と、訓練の安定化とサンプル品質の向上を目的とした改善型ワサーベルGAN損失。
• 識別器は、実際の不完全な物体と生成された物体を区別することで、生成形状の現実性を評価する。
• ネットワークは、幾何的正確性と再構成形状の知覚的リアリズムの両方を最適化するために、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 50％以上のボクセルが欠落している3D考古学的物体を、条件付きGANが効果的に再構成できるか？
• RQ2 文化的・地域的メタデータに条件付けられることで、多様なアーティファクトタイプにわたる再構成の正確性と一般化性能がどの程度向上するか？
• RQ3 補完損失と改善型ワサーベルGAN損失を組み合わせることで、生成再構成におけるアーチファクトの低減と構造的忠実度の向上はどの程度達成されるか？
• RQ4 微調整なしに、メタデータ条件付けのみで未学習のオブジェクトクラスに一般化できるか？

主な発見

• 提案手法は、ボクセルの半数以上が欠落している場合でさえも、不完全な3D考古学的物体の大部分の欠損幾何形状を成功裏に回復した。
• 文化や地域などのメタデータに条件付けられることで、再構成の正確性と構造的一致性が顕著に向上した。
• 補完損失と改善型ワサーベルGAN損失の組み合わせにより、ベースライン手法と比較してアーチファクトが少なく、より現実的な形状生成が実現された。
• 各クラスの再トレーニングを必要とせず、多様な考古学的物体タイプに良好に一般化した。