[論文レビュー] ANISE: Assembly-based Neural Implicit Surface rEconstruction

Dmitry Petrov, Matheus Gadelha+2 more|arXiv (Cornell University)|May 27, 2022

Manufacturing Process and Optimization被引用数 5

ひとこと要約

ANISEは、まず部品の変換を予測し、その後部品固有の潜在コードを復号することで、画像やスパarsな点群から3次元形状を再構築する、粗いから細かい段階を経る部品に注意を向けるニューラルインクリメント表面再構築法を提案する。部品に注意を向ける再構築において最先端の性能を達成し、部品の検索を介して高品質で制御可能な形状アセンブリを実現する。これは、従来の手法と比較して1桁小さいデータベースでも可能である。

ABSTRACT

We present ANISE, a method that reconstructs a 3D~shape from partial observations (images or sparse point clouds) using a part-aware neural implicit shape representation. The shape is formulated as an assembly of neural implicit functions, each representing a different part instance. In contrast to previous approaches, the prediction of this representation proceeds in a coarse-to-fine manner. Our model first reconstructs a structural arrangement of the shape in the form of geometric transformations of its part instances. Conditioned on them, the model predicts part latent codes encoding their surface geometry. Reconstructions can be obtained in two ways: (i) by directly decoding the part latent codes to part implicit functions, then combining them into the final shape; or (ii) by using part latents to retrieve similar part instances in a part database and assembling them in a single shape. We demonstrate that, when performing reconstruction by decoding part representations into implicit functions, our method achieves state-of-the-art part-aware reconstruction results from both images and sparse point clouds.When reconstructing shapes by assembling parts retrieved from a dataset, our approach significantly outperforms traditional shape retrieval methods even when significantly restricting the database size. We present our results in well-known sparse point cloud reconstruction and single-view reconstruction benchmarks.

研究の動機と目的

• 神経的インクリメント手法が、現実的で構成可能な部品配置と制御可能性を備えた複合3次元形状をモデル化する点での限界を克服すること。
• 画像やスパースな点群などの部分的観測から、正確で部品に注意を向ける3次元再構築を可能にすること。
• 形状の構造と幾何学的予測を分離することで、再構築品質と一般化性能を向上させること。
• データベースから実際の部品を検索することで、制御可能な形状編集と再構築を可能にすること。
• 検索ベースの再構築に必要な参照データベースのサイズを縮小しつつ、品質を維持または向上させること。

提案手法

• ANISEは2段階のアーキテクチャを用いる：まず各部品の幾何的変換（位置とスケール）を予測し、その後部品固有の潜在コードを予測して表面幾何を符号化する。
• モデルは予測された変換に基づいて部品の幾何学的予測を行うことで、構造的で整合性のある形状アセンブリを実現する。
• 最終的な形状は、部品の潜在コードをニューラルインクリメント関数に復号して組み合わせるか、または参照データベースから類似する部品を検索してアセンブルすることで再構築する。
• ネットワークは完全な形状のSDFからの監視を用いてエンド・ツー・エンドに訓練され、幾何的正確性の向上のためのファインチューニングが可能である。
• 評価のための部品マッチングには、1,000点にサンプリングされた部品クラウドにおけるチェンファーディスタンスを用いたハンガリアンマッチングが用いられる。
• この手法は固定された部品数を仮定せず、順序に依存しない。これは、順序処理に基づく手法とは対照的である。

実験結果

リサーチクエスチョン

• RQ1 粗いから細かい段階を経る部品に注意を向けるニューラルインクリメントモデルは、部品に注意を向けていない手法や順序処理ベースの手法を上回る3次元再構築性能を達成できるか？
• RQ2 予測された部品変換に基づいて幾何学的予測を行うことで、再構築品質と構造的一致性が向上するか？
• RQ3 部品レベルのマッチングを用いた検索ベースの再構築は、全体形状の検索に比べて優れた結果をもたらすか、特にデータベースが小さい場合に顕著か？
• RQ4 構造と幾何学的学習の分離は、一般化性能と部分的観測に対するロバストネスにどのように影響するか？
• RQ5 ANISEは未学習の形状にどの程度一般化可能であり、前処理のアーチファクトに対しても対応できるか？

主な発見

• 単一ビュー再構築において、PQ-Netに比べてFスコアを16.8%向上させ、部品に注意を向ける再構築品質の優位性を示した。
• 部品の復号による再構築において、チェアとテーブルの両方で最先端のチェンファーディスタンス（CD）を達成し、表面再構築品質においてStructureNetを上回った。
• 検索ベースの再構築において、従来の手法と同等または優れた結果を得ており、データベースが1桁小さい状況下でも実現した。
• アブレーションスタディにより、変換に基づいて幾何学的予測を行うことで、無条件予測に比べて顕著な性能向上が確認された。
• SDFの監視によるファインチューニングは、特に小さな部品において形状の比率と幾何学的正確性を著しく向上させた。一方、初期学習から訓練されたモデルは単一部品の出力に崩壊する傾向にあった。
• 定性的な結果から、ANISEは前処理アーチファクトに対しても良好に一般化しており、入力のノイズや不完全さがあっても、現実的で整合性のある形状構造を維持していることが示された。