[論文レビュー] Learning Efficient Point Cloud Generation for Dense 3D Object Reconstruction

Chen-Hsuan Lin, Chen Kong+1 more|arXiv (Cornell University)|Jun 21, 2017

3D Shape Modeling and Analysis被引用数 168

ひとこと要約

この論文は、疑似レンダラーと多視点の共同最適化を用い、従来の3D ConvNets の代わりに2D畳み込みフレームワークを用いて物体表面の密な3D点群を生成する。

ABSTRACT

Conventional methods of 3D object generative modeling learn volumetric predictions using deep networks with 3D convolutional operations, which are direct analogies to classical 2D ones. However, these methods are computationally wasteful in attempt to predict 3D shapes, where information is rich only on the surfaces. In this paper, we propose a novel 3D generative modeling framework to efficiently generate object shapes in the form of dense point clouds. We use 2D convolutional operations to predict the 3D structure from multiple viewpoints and jointly apply geometric reasoning with 2D projection optimization. We introduce the pseudo-renderer, a differentiable module to approximate the true rendering operation, to synthesize novel depth maps for optimization. Experimental results for single-image 3D object reconstruction tasks show that we outperforms state-of-the-art methods in terms of shape similarity and prediction density.

研究の動機と目的

• 体積ボクセルを超えた効率的な3D形状生成を動機づけ、表面密度表現に焦点を当てる。
• 複数の視点から3D点を予測する2D畳み込み構造生成器を開発する。
• 新規視点からの深度マップに基づく監督を可能にする微分可能な疑似レンダラーを導入する。
• 単一画像の3D再構成タスクにおける形状精度と表面密度の優越性を示す。

提案手法

• 入力データから潜在表現を生成する潜在エンコーダを使用する。
• 2D畳み込み構造生成器が各ピクセルについて (x, y, z, mask) を生成することでN視点で3D構造を予測する。
• 既知の視点回転と内部パラメータを用いて予測点を標準座標系の3D座標に変換する。
• 新規視点から深度画像を合成するために、射影空間をアップサンプリングし、逆深度に対して最大プーリングを適用する疑似レンダラーを導入する。
• マスク損失と深度損失を組み合わせた2D射影の共同損失で訓練する（L = L_mask + lambda * L_depth）。
• 潜在生成器を先に訓練して深度画像を予測させ、その後、共同の2D射影最適化でエンドツーエンドを微調整する。

実験結果

リサーチクエスチョン

• RQ1 2D畳み込みネットワークから生成された密な点群は、単一画像3D再構成において体積/点ベースのベースラインと同等か、それを上回るか？
• RQ2 微分可能な疑似レンダラーによる新規視点の射影を共同最適化することで、表面の忠実度と密度は改善されるか？
• RQ3 3D幾何学と透視投影の明示的な分解化は、暗黙の3Dボリューム学習と比較して再構成品質にどのような影響を与えるか？

主な発見

• 提案手法は、最先端の3D予測手法よりも密度が高く、形状の精度も向上している。
• 単一カテゴリの椅子再構成では、他の全ベースラインよりも平均3D距離が小さく、両方向（pred.→GTと GT→pred）で低い。
• ShapeNetの13カテゴリ全体で、カテゴリごとの3D誤差が3D-R2N2ベースラインより低く、単一視点予測ではFan et al.を上回ることが多い。
• 定性的な結果は、ボリュームベースのベースラインと比べて密な点群と表面忠実度が高い。
• 潜在空間の操作は、椅子やテーブルなどの意味的に意味のある形状変化を示す滑らかな補間を生み出す、解釈可能な生成構造を示す。