[論文レビュー] Deep Level Sets: Implicit Surface Representations for 3D Shape Inference

Mateusz Michalkiewicz, Jhony Kaesemodel Pontes+3 more|arXiv (Cornell University)|Jan 21, 2019

3D Shape Modeling and Analysis参考文献 30被引用数 61

ひとこと要約

本論文は、3D形状を向きのついたレベルセット暗黙的表面として予測するエンドツーエンドのフレームワークを提案し、ボクセル表現に対する再構成精度を向上させ、柔軟なトポロジー処理を可能にします。

ABSTRACT

Existing 3D surface representation approaches are unable to accurately classify pixels and their orientation lying on the boundary of an object. Thus resulting in coarse representations which usually require post-processing steps to extract 3D surface meshes. To overcome this limitation, we propose an end-to-end trainable model that directly predicts implicit surface representations of arbitrary topology by optimising a novel geometric loss function. Specifically, we propose to represent the output as an oriented level set of a continuous embedding function, and incorporate this in a deep end-to-end learning framework by introducing a variational shape inference formulation. We investigate the benefits of our approach on the task of 3D surface prediction and demonstrate its ability to produce a more accurate reconstruction compared to voxel-based representations. We further show that our model is flexible and can be applied to a variety of shape inference problems.

研究の動機と目的

• 境界ボクセルを用いたアプローチよりも改善を促進するため、3D形状推論には暗黙的なレベルセット表現を用いる。
• ゼロレベルセットが物体表面を生み出すレベルセット埋め込みを予測するエンドツーエンド学習可能なフレームワークを開発する。
• 幾何学的正則化項（面積、体積、向き、滑らかさ）をロバストな表面推論のための変分損失に組み込む。
• レベルセット表現が同等のネットワーク容量でボクセル占有より高い忠実度の再構成を生み出すことを示す。

提案手法

• 3D出力を埋め込み関数 phi のゼロレベル集合として表現し、phi に対する変分損失を最適化する。
• データ点と法線と合うように表面 Gamma を整列させるエネルギー汎関数 E_X と E_N を定義する。
• 表面積 E_area と体積 E_vol、さらに |grad(phi)|≈1 を促進する E_sdf 项を組み込む。
• 連続損失を微分可能なグリッド近似へ変換するために delta_epsilon と H_epsilon を使用する。
• 共有の64D潜在空間を持つシンプルな3Dオートエンコーダ + CNN予測フレームワークを訓練し、レベルセットとボクセルのベースラインを比較する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的レベルセット表現を変分損失と組み合わせた場合、ボクセルベースの方法よりもより正確な3D形状推定を提供できるか？
• RQ2 幾何学的事前情報（面積、体積）および法線/向きの項がレベルセットフレームワーク内の再構成品質にどのように影響するか？
• RQ3 このアプローチはトポロジー変更に対してロバストで、単一視入力から高忠実度の表面詳細を再現できるか？

主な発見

• 暗黙的なレベルセット表現は、ほとんどのカテゴリで20^3および30^3解像度においてボクセル占有より高いIoUスコアを達成する。
• Chamfer距離は一般にレベルセット表現の方が小さく、表面再構成がより近く、20^3での利得が大きく、30^3でのギャップが縮小する。
• 解像度が上がるにつれてレベルセットのボクセルに対する改善は小さくなり、椅子などの一部のクラスではトポロジーの特性により利得が小さい。
• 定性的な結果は、レベルセットアプローチを用いた場合に、ボクセルベースより細かな幾何学的ディテールと滑らかな表面が得られることを示す。
• フレームワークはボクセル法と同程度の性能を達成しつつ、境界の精度とトポロジーの柔軟性を向上させる。