[論文レビュー] Better Patch Stitching for Parametric Surface Reconstruction

Zhantao Deng, Jan Bednařík+2 more|arXiv (Cornell University)|Oct 14, 2020

3D Shape Modeling and Analysis参考文献 39被引用数 7

ひとこと要約

本論文は、パッチ単位のマッピングを用いたパrametricな表面再構成において、グローバルな一貫性を向上させるための新しい損失ベースの手法を提案する。法線の一貫性とステッチエラーの最小化損失を導入することで、穴やざらついた表面といった視覚的アーティファクトを低減し、最先端の法線推定精度を達成するとともに、従来手法に比べて顕著に向上した視覚的品質を実現する。

ABSTRACT

Recently, parametric mappings have emerged as highly effective surface representations, yielding low reconstruction error. In particular, the latest works represent the target shape as an atlas of multiple mappings, which can closely encode object parts. Atlas representations, however, suffer from one major drawback: The individual mappings are not guaranteed to be consistent, which results in holes in the reconstructed shape or in jagged surface areas. We introduce an approach that explicitly encourages global consistency of the local mappings. To this end, we introduce two novel loss terms. The first term exploits the surface normals and requires that they remain locally consistent when estimated within and across the individual mappings. The second term further encourages better spatial configuration of the mappings by minimizing novel stitching error. We show on standard benchmarks that the use of normal consistency requirement outperforms the baselines quantitatively while enforcing better stitching leads to much better visual quality of the reconstructed objects as compared to the state-of-the-art.

研究の動機と目的

• 強力な定量的性能にもかかわらず、依然として残存する視覚的アーティファクト（穴やざらついた表面）を解消すること。
• トレーニング中にパッチ間の依存関係を明示的にモデル化することで、パッチ間のグローバルな一貫性を向上させること。
• 表面法線推定の定量的再構成精度を損なわず、視覚的品質を向上させること、特に表面法線推定において。
• レンダリングやアニメーションなどのアプリケーションにおける再構成表面のシームレスな後続利用を可能にすること。
• 既存のパッチベースの表面モデルと互換性のある、プラグアンドプレイ可能な損失フレームワークを導入すること。

提案手法

• パッチ内およびパッチ間の表面法線推定を一致させることで $C^1$ スムーズネスを強制する法線一貫性損失を導入する。
• 隣接するパッチ間の空間的不一致を最小化することで、重複や交差、穴を低減する、新しいステッチエラー損失を提案する。
• DSP などの既存のパッチベースのモデルのトレーニング目的関数に、両損失項を統合し、アーキテクチャの変更なしに実装する。
• 微分可能なニューラルネットワークを用いてパッチマッピングを最適化し、低歪みと高い表面適合精度を維持する。
• Chamfer Distance と法線の角度誤差を主な指標として用い、標準ベンチマーク（ShapeNet）でトレーニングを行う。
• PCAエラやSVRタスクの両方に対して本手法を適用し、定量的および定性的な性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 パッチ間の表面法線における明示的な一貫性が、再構成された3D表面の視覚的品質を向上させ得るか？
• RQ2 新規のステッチエラー損失を最小化することで、パッチベース再構成における穴や重複といった視覚的アーティファクトが低減するか？
• RQ3 Chamfer Distance や法線の角度誤差といった定量的指標が劣化しない範囲で、視覚的品質をどの程度向上させられるか？
• RQ4 提案された損失は、既存の最先端のパッチベース表面モデルに効果的に統合可能か？
• RQ5 パラメトリック表面再構成において、定量的精度と視覚的忠実度の間にトレードオフが生じるか、そしてそのトレードオフは緩和可能か？

主な発見

• 法線一貫性損失は表面法線推定精度を向上させ、ShapeNetの全カテゴリで角度誤差において最先端の結果を達成した。
• SVRタスクにおいて、法線一貫性損失により平均角度誤差をDSPの38.85から OURS_st^8 の24.75にまで低下させ、顕著な改善を示した。
• ステッチ損失単体でも、平面カテゴリにおいてステッチメトリック $m_S$ をDSPの1.79から OURS_st^4 の0.539に低下させ、パッチの整合性が向上した。
• 定性的な結果では、著しい視覚的改善が確認された：色の漏れ（パッチの一致を示す）がより頻繁かつ一貫して発生し、目立つシームや穴が減少した。
• 両損失の組み合わせ（$\text{OURS}_{\text{st}}$）は、CDがわずかに上昇する場合でも、滑らかな表面とより少ないアーティファクトを実現し、最良の視覚的品質を達成した。
• 本手法は普遍的に適用可能であり、アーキテクチャの変更なしに、いかなるパッチベース表面モデルにも統合可能であることが、最先端のDSPフレームワーク内での展開によって実証された。