[論文レビュー] A Skeleton-bridged Deep Learning Approach for Generating Meshes of Complex Topologies from Single RGB Images

Jiapeng Tang, Xiaoguang Han+3 more|arXiv (Cornell University)|Mar 12, 2019

3D Shape Modeling and Analysis参考文献 37被引用数 9

ひとこと要約

本論文では、単一のRGB画像から複雑なトポロジーを持つオブジェクトの高品質な3Dメッシュ再構成を生成する、スケルトンを介した段階的ディーブラーニングフレームワークを提案する。曲線的および表面的スケルトン点を新たに設計した並列デコーダで処理し、ボリュームリファイニングとグラフ畳み込みメッシュ変形を経て、細く繊細な構造を保ちながらトポロジーを維持する高精度な再構成を実現した。

ABSTRACT

This paper focuses on the challenging task of learning 3D object surface reconstructions from single RGB images. Existing methods achieve varying degrees of success by using different geometric representations. However, they all have their own drawbacks, and cannot well reconstruct those surfaces of complex topologies. To this end, we propose in this paper a skeleton-bridged, stage-wise learning approach to address the challenge. Our use of skeleton is due to its nice property of topology preservation, while being of lower complexity to learn. To learn skeleton from an input image, we design a deep architecture whose decoder is based on a novel design of parallel streams respectively for synthesis of curve- and surface-like skeleton points. We use different shape representations of point cloud, volume, and mesh in our stage-wise learning, in order to take their respective advantages. We also propose multi-stage use of the input image to correct prediction errors that are possibly accumulated in each stage. We conduct intensive experiments to investigate the efficacy of our proposed approach. Qualitative and quantitative results on representative object categories of both simple and complex topologies demonstrate the superiority of our approach over existing ones. We will make our ShapeNet-Skeleton dataset publicly available.

研究の動機と目的

• 複雑なトポロジー（たとえば、細く長い構造を持ついすやテーブルなど）を有するオブジェクトの単一RGB画像からの3D表面再構成の課題に取り組むこと。
• 既存手法がメッシュ生成におけるトポロジーの維持と幾何的忠実性に困難を抱える問題を克服すること。
• スケルトン表現のトポロジー的安定性と低い学習複雑性を活用し、正確な3D再構成のためのブリッジとしての役割を果たすこと。
• ポイントクラウド、ボリューム、メッシュ表現を段階的に統合する学習パイプラインを設計し、それぞれの利点を最大限に活かすこと。
• 複数段階にわたり入力画像を再利用することで、段階間の誤差蓄積を是正し、最終的なメッシュ品質を向上させること。

提案手法

• 単一のRGB画像から曲線的および表面的スケルトン成分を別々にモデル化する、新たな深層アーキテクチャ（CurSkeNetとSurSkeNetの並列ストリーム）を提案し、スケルトン点を生成する。
• 推定されたスケルトンを粗いボリューム表現に変換し、グローバル構造正則化を用いたサブボリューム合成により、3D畳み込みニューラルネットワーク（3D CNN）を用いて計算コストを低減するリファイニングを実施する。
• 初期スケルトン推定からの誤差を補正するため、ボクセルベースの補正ネットワークを導入する。
• 標準的な抽出手法（例：マーチング・キューブス）を用いて、リファインドされたボリュームからベースメッシュを抽出し、変形の初期幾何形状とする。
• グラフ畳み込みネットワーク（GCNN）を訓練し、エンドツーエンド最適化により、細かな幾何的詳細を学習しながらベースメッシュの頂点を変形する。
• パイプライン全体にわたり、予測誤差の是正と再構成精度の向上を図るため、入力画像を複数段階で再利用する。

実験結果

リサーチクエスチョン

• RQ1 直接的なメッシュやボリュームベースの手法と比較して、スケルトンを介した手法は、複雑なトポロジーを持つオブジェクトの3Dメッシュ再構成品質を向上させることができるか？
• RQ2 曲線的および表面的スケルトン点の学習に並列ストリームを用いることは、多様なスケルトン構造を捉えるのにどの程度有効か？
• RQ3 複数段階にわたる画像再利用は、誤差蓄積をどの程度低減し、最終的なメッシュ忠実度を向上させるか？
• RQ4 段階的アプローチでポイントクラウド、ボリューム、メッシュ表現を統合することは、エンドツーエンドまたは単一表現アプローチを上回る性能を発揮するか？
• RQ5 スケルトン推定の不正確さに起因する誤差を軽減するために、ボクセルベースの補正ステップがメッシュ品質を顕著に向上させるか？

主な発見

• スケルトン推定ベンチマークにおいて、本手法は、ポイントのみ、ラインのみ、スクエアのみ、および組み合わせフィッティング手法を含むすべてのバリエーションの中で、最小のチェンファーディスタンス（1.103 × 10³）を達成した。
• ラプラシアンスムージング損失の導入により、視覚的品質が向上し、ノイズが低減した。他のモデルが細い構造を捉えられないのに対し、本手法はその点で優位であった。
• 視覚的比較により、本手法は細い脚やロッドを含む複雑なトポロジーを成功裏に再構成している一方、OGNベースのベースラインは誤ったトポロジーにより失敗していることが示された。
• ボクセルベースの補正ネットワークは、スケルトン推定からメッシュ生成への誤差伝搬を効果的に低減しており、アブレーションスタディの結果からその有効性が裏付けられた。
• 特に長く細い部品を有する挑戦的なオブジェクトカテゴリにおいて、既存の手法よりも正確でトポロジー的に正しいメッシュを生成した。
• アブレーションスタディにより、段階的設計の有効性が確認され、各コンponent（スケルトン学習、ボリューム補正、メッシュ変形）が最終的な性能向上に寄与していることが示された。