[論文レビュー] Learning to Infer Implicit Surfaces without 3D Supervision

Shichen Liu, Shunsuke Saito+2 more|arXiv (Cornell University)|Nov 2, 2019

3D Shape Modeling and Analysis被引用数 89

ひとこと要約

単一または複数ビューの2D画像から暗黙の3D表面を教師なしで学習するための光線ベースの場探査法と幾何学的正則化を導入し、3D supervisionなしでトポロジーを認識した高忠実度の形状を実現。

ABSTRACT

Recent advances in 3D deep learning have shown that it is possible to train highly effective deep models for 3D shape generation, directly from 2D images. This is particularly interesting since the availability of 3D models is still limited compared to the massive amount of accessible 2D images, which is invaluable for training. The representation of 3D surfaces itself is a key factor for the quality and resolution of the 3D output. While explicit representations, such as point clouds and voxels, can span a wide range of shape variations, their resolutions are often limited. Mesh-based representations are more efficient but are limited by their ability to handle varying topologies. Implicit surfaces, however, can robustly handle complex shapes, topologies, and also provide flexible resolution control. We address the fundamental problem of learning implicit surfaces for shape inference without the need of 3D supervision. Despite their advantages, it remains nontrivial to (1) formulate a differentiable connection between implicit surfaces and their 2D renderings, which is needed for image-based supervision; and (2) ensure precise geometric properties and control, such as local smoothness. In particular, sampling implicit surfaces densely is also known to be a computationally demanding and very slow operation. To this end, we propose a novel ray-based field probing technique for efficient image-to-field supervision, as well as a general geometric regularizer for implicit surfaces, which provides natural shape priors in unconstrained regions. We demonstrate the effectiveness of our framework on the task of single-view image-based 3D shape digitization and show how we outperform state-of-the-art techniques both quantitatively and qualitatively.

研究の動機と目的

• 豊富な2D画像から3Dの地上真値 supervisionなしで高品質な3D形状を学習する動機づけ。
• 任意のトポロジーとマルチ解像度のディテールを扱える暗黙の表面表現を活用する。
• 光線ベースの探査フレームワークによる効率的な画像から場への監督を開発する。
• 局所的な表面の滑らかさと妥当な法線を促す幾何学的正則化を導入する。

提案手法

• 画像特徴からデコードされたニューラル暗黙場によって占有確率を定義する。
• 暗黙場を探査するために球状領域を持つ sparse 3D アンカー点を使用する。
• 画像ピクセルを通して光線を投げ、交差するアンカーから占有を最大プーリングで集約する。
• 表面境界付近のラベリング曖昧さを低減する境界認識付き割り当てを適用する。
• 画像シルエットと3D表面の周りにサンプルを集中させる重要度サンプリングを採用する。
• 表面領域を強調するようウェイト付けした有限差分ベースの幾何学的正則化を導入する。

実験結果

リサーチクエスチョン

• RQ1 2D監督のみで3D地上真値データなしに暗黙表面を学習できるか？
• RQ2 画像の手掛かりを効率的に3Dの暗黙場と結びつけて、正確でトポロジーが複雑な形状を推定できるか？
• RQ3 2Dのシルエットから学習した暗黙表面に対して、どの正則化戦略が最も妥当な幾何を強制できるか？

主な発見

• ShapeNet上の2Dシルエットを用いた教師なし法の中で最先端の3D IoUを達成。
• ボクセル・点群・メッシュと比較して高解像度でトポロジーに柔軟な再構成を実現。
• アンカーと光線を用いた場探査が精度と細部を改善することを実証。
• 有限差分を用いた幾何学的正則化により表面の滑らかさと法線をpノルムで制御可能。
• 境界認識付き割り当てと重要度サンプリングのアブレーションで品質向上の恩恵を確認。