[論文レビュー] Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks

Junyi Pan, Xiaoguang Han+3 more|arXiv (Cornell University)|Sep 1, 2019

3D Shape Modeling and Analysis参考文献 36被引用数 16

ひとこと要約

本論文は、1枚の生成ゼロテンプレートメッシュから複雑なトポロジーを高精度に再構成できる、エンドツーエンドのディーブラーニングフレームワークを提案する。この手法は、段階的なフェイスプリーニングと変形を介してメッシュトポロジーを動的に変更し、複雑なトポロジーの再構成を可能にする。本手法は、再構成精度とメッシュ品質の両面で最先端の手法を上回り、特にトポロジカルに複雑な形状に対して優れた性能を示す。

ABSTRACT

Reconstructing the 3D mesh of a general object from a single image is now possible thanks to the latest advances of deep learning technologies. However, due to the nontrivial difficulty of generating a feasible mesh structure, the state-of-the-art approaches often simplify the problem by learning the displacements of a template mesh that deforms it to the target surface. Though reconstructing a 3D shape with complex topology can be achieved by deforming multiple mesh patches, it remains difficult to stitch the results to ensure a high meshing quality. In this paper, we present an end-to-end single-view mesh reconstruction framework that is able to generate high-quality meshes with complex topologies from a single genus-0 template mesh. The key to our approach is a novel progressive shaping framework that alternates between mesh deformation and topology modification. While a deformation network predicts the per-vertex translations that reduce the gap between the reconstructed mesh and the ground truth, a novel topology modification network is employed to prune the error-prone faces, enabling the evolution of topology. By iterating over the two procedures, one can progressively modify the mesh topology while achieving higher reconstruction accuracy. Moreover, a boundary refinement network is designed to refine the boundary conditions to further improve the visual quality of the reconstructed mesh. Extensive experiments demonstrate that our approach outperforms the current state-of-the-art methods both qualitatively and quantitatively, especially for the shapes with complex topologies.

研究の動機と目的

• 既存のメッシュ変形手法が固定されたテンプレートトポロジーに制限され、複雑なトポロジーを再構成できないという限界を解消すること。
• 1枚の生成ゼロテンプレートメッシュから、動的トポロジー適応を伴うエンドツーエンドの学習による単一視点3Dメッシュ再構成を可能にすること。
• トポロジー変更と境界精錬を統合したフレームワークにより、メッシュ品質と再構成精度を向上させること。
• 境界の滑らかさや最適なしきい値選択といったフェイスプリーニングの課題を、段階的な形状形成戦略により克服すること。

提案手法

• 段階的な変形ネットワークが、再構成メッシュと正例との差を小さくするための頂点ごとのオフセットを予測する。
• 新規のトポロジー変更ネットワークが、フェイス単位の再構成誤差を推定し、高誤差のフェイスをプリーニングしてメッシュトポロジーを進化させる。
• 段階的な形状形成フレームワークが、変形とトポロジー変更を交互に実行することで、段階的にメッシュ品質とトポロジカル忠実度を向上させる。
• 境界精錬ネットワークが、フェイスプリーニングによって生じる開放境界に滑らかさ制約を適用し、視覚的品質を向上させる。
• 最適化されたチャーム距離最小化を介して学習可能なしきい値τを有する微分可能フェイスプリーニング機構を採用する。
• 本手法はエンドツーエンドで学習可能であり、球体やユニット正方形などの異なる初期メッシュタイプに対してもロバストである。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、1枚のRGB画像からの再構成中にメッシュトポロジーを動的に変更できるか？
• RQ2 フェイスプリーニングを微分可能メッシュ再構成パイプラインに効果的に統合することで、トポロジカルな正確性を向上させられるか？
• RQ3 段階的なメッシュ精錬において、再構成誤差低減とトポロジー進化のバランスを最適にとる戦略は何か？
• RQ4 境界精錬は、フェイスプリーニング後に生じる開放境界の視覚的品質と幾何的整合性にどのように影響を与えるか？

主な発見

• 本手法は3D形状オートエンコーディングにおいてチャーム距離0.655を達成し、AtlasNet-25（0.765）を上回り、優れた再構成精度を示した。
• τ = 0.1の場合、前向きおよび逆向きのチャーム距離のバランスが取れ、多様な形状において再構成誤差が最小化された。
• アブレーションスタディにより、段階的な形状形成がメッシュ品質を顕著に向上させることを確認した。この手順を省去すると、幾何的歪みと低精度なプリーニングが生じた。
• 境界精錬により視覚的アーチファクトが低減され、特にフェイスプリーニングによって生じる開放境界付近で、よりクリアで現実的であるメッシュが得られた。
• 本手法は異なる初期メッシュに対して一般化性が高く、球体およびユニット正方形テンプレートの両方で一貫した性能を発揮した。
• フレームワークにより、固定テンプレート変形手法では対応できない複雑なトポロジーの高品質なメッシュ再構成が可能であることが、図1の定性的な比較で裏付けられた。