[論文レビュー] OctField: Hierarchical Implicit Functions for 3D Modeling

Jia-Heng Tang, Weikai Chen+5 more|arXiv (Cornell University)|Nov 1, 2021

3D Shape Modeling and Analysis被引用数 13

ひとこと要約

OctFieldは、表面の占有状態と幾何的複雑さに基づいて再帰的に空間を分割する適応的オクソリューション構造を用いた、学習可能な階層的暗黙関数表現を提案する。これにより、高い幾何的忠実性と低いメモリコストで3D表面を効率的にモデル化できる。オクソリューション構築を確率的で微分可能なネットワークにより微分可能にすることで、従来手法と比較して計算コストを低減しつつ、優れた再構成性能と編集性能を達成する。

ABSTRACT

Recent advances in localized implicit functions have enabled neural implicit representation to be scalable to large scenes. However, the regular subdivision of 3D space employed by these approaches fails to take into account the sparsity of the surface occupancy and the varying granularities of geometric details. As a result, its memory footprint grows cubically with the input volume, leading to a prohibitive computational cost even at a moderately dense decomposition. In this work, we present a learnable hierarchical implicit representation for 3D surfaces, coded OctField, that allows high-precision encoding of intricate surfaces with low memory and computational budget. The key to our approach is an adaptive decomposition of 3D scenes that only distributes local implicit functions around the surface of interest. We achieve this goal by introducing a hierarchical octree structure to adaptively subdivide the 3D space according to the surface occupancy and the richness of part geometry. As octree is discrete and non-differentiable, we further propose a novel hierarchical network that models the subdivision of octree cells as a probabilistic process and recursively encodes and decodes both octree structure and surface geometry in a differentiable manner. We demonstrate the value of OctField for a range of shape modeling and reconstruction tasks, showing superiority over alternative approaches.

研究の動機と目的

• 大規模3Dモデリングにおける、正規格子ベースの暗黙関数の高いメモリ使用量と計算コストを低減すること。
• 局所的な幾何的複雑さと表面の疎らさに基づいて、モデリング能力を適応的に割り当てること。
• 非微分可能なオクソリューション構造を微分可能なディープラーニングフレームワークに統合し、エンドツーエンドの学習を可能にすること。
• 細部の豊かな複雑な3D形状の再構成精度と効率を向上させること。
• コン pact で階層的な表現を用いて、柔軟な形状編集と補完を可能にすること。

提案手法

• OctFieldは階層的なオクソリューションを用い、表面に近い領域および幾何的詳細が豊富な領域にのみ局所的暗黙関数を割り当てる。
• オクソリューション構築は、幾何特徴に基づいて分割を予測する分類器を用いた確率的プロセスとしてモデル化され、微分可能な学習が可能になる。
• 階層的なエンコーダ-デコーダネットワークが、微分可能な方法でオクソリューション構造と幾何特徴を再帰的に符号化・復号化する。
• 本手法は3D CNNエンコーダを用いて部分点群を潜在コードにマップし、その後、完全なオクソリューションと表面幾何をデコードする。
• 各オクタントセルには局所的暗黙関数が関連付けられ、必要な箇所での細粒度モデリングと、他の領域での粗い表現が可能になる。
• フレームワークは、局所的潜在コードの再パラメータライゼーションにより、異なる幾何形状間の滑らかな遷移を実現する形状編集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 適応的オクソリューション分割に基づく階層的暗黙関数表現は、3D形状のメモリ効率とモデリング精度を向上させることができるか？
• RQ2 非微分可能なオクソリューション構造は、3D幾何学学習のための微分可能なディープラーニングフレームワークにどのように統合できるか？
• RQ3 幾何的複雑さに基づく適応的分解は、正規格子ベースの分解に比べて、3D再構成タスクでどの程度優れているか？
• RQ4 提案手法は、既存手法と比較して、より少ないアーチファクトで部分点群からのロバストな形状補完を達成できるか？
• RQ5 階層的構造は、表面の連続性を損なわず、柔軟かつ連続的な局所的形状編集を可能にするか？

主な発見

• 形状補完において、OctFieldは4.4 × 10⁻⁴のチェンファーディスタンス（CD）を達成し、IF-Net（4.9 × 10⁻⁴）とO-CNN（12.1 × 10⁻⁴）を上回り、優れた再構成忠実性を示した。
• O-CNNが密集した点群を出力するのに対し、OctFieldは部分入力から完全なメッシュを生成でき、後続処理での利用性が向上した。
• 局所的潜在コードの再パラメータライゼーションにより、暗黙関数の単純なブレンドで生じる不連続性を避けて、滑らかで連続的な局所的形状編集が可能になった。
• 適応的オクソリューション構造により、空の領域への暗黙関数の割り当てを回避し、滑らかな領域では粗く分割することで、メモリ使用量が削減された。
• 確率的分割による微分可能なオクソリューション構築により、エンドツーエンドの学習が可能になり、パイプライン全体が学習可能かつスケーラブルになった。
• 実験の結果、OctFieldは深いオクソリューションレベルでも高い精度を維持しており、複雑な幾何形状への強力なスケーラビリティを示した。