[論文レビュー] SDF-SRN: Learning Signed Distance 3D Object Reconstruction from Static Images

Chen-Hsuan Lin, Chaoyang Wang+1 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Vision and Imaging被引用数 50

ひとこと要約

SDF-SRN は single-view 画像と 2D シルエットから密な 3D 符号距離関数表現を学習し、 differentiable rendering を用いて single-view 訓練を可能にする。 explicit multi-view アソシエーションなしで、ShapeNet と PASCAL3D+ において state-of-the-art 手法を上回る。

ABSTRACT

Dense 3D object reconstruction from a single image has recently witnessed remarkable advances, but supervising neural networks with ground-truth 3D shapes is impractical due to the laborious process of creating paired image-shape datasets. Recent efforts have turned to learning 3D reconstruction without 3D supervision from RGB images with annotated 2D silhouettes, dramatically reducing the cost and effort of annotation. These techniques, however, remain impractical as they still require multi-view annotations of the same object instance during training. As a result, most experimental efforts to date have been limited to synthetic datasets. In this paper, we address this issue and propose SDF-SRN, an approach that requires only a single view of objects at training time, offering greater utility for real-world scenarios. SDF-SRN learns implicit 3D shape representations to handle arbitrary shape topologies that may exist in the datasets. To this end, we derive a novel differentiable rendering formulation for learning signed distance functions (SDF) from 2D silhouettes. Our method outperforms the state of the art under challenging single-view supervision settings on both synthetic and real-world datasets.

研究の動機と目的

• ground-truth 3D 形状を持たない single-view 画像コレクションからの実用的な 3D 再構成を動機付ける。
• 2D シルエットから学習された連続的な implicit 3D 表現としての SDF（signed distance functions）を提案する。
• RGB 画像を用いて 3D 表面を最適化する Scene Representation Networks に基づく differentiable rendering フレームワークを開発する。
• 単一ビューのデータからカテゴリ特異的な実世界の 3D 再構成を可能にする。
• ShapeNet と PASCAL3D+ において 3D 非監視ベースのベースラインより再構成品質が優れていることを示す。

提案手法

• 3D 形状を連続的な implicit 関数 f: R^3 -> R として表現し、ゼロ等高線が表面を定義する。
• 2D シルエット距離変換を活用して、3D SDF の下 bound を back-projected なコーンと円から導出し、画像のすべてのピクセルからの監督を実現する。
• 2D 距離変換から導かれた下 bound b(z;u) を課す損失 L_SDF を用いて、暗黙の SDF f(theta) を学習する。
• Scene Representation Networks に基づく微分可能レンダリングプロセスを用いて、光線飛行深度と implicit surface の整合性を強制する二階層最適化（Eq. 7）と RGB 再構成（Eq. 8）を介して表面を RGB 画像に合わせる。
• RGB I から f, g, h (theta, phi, psi) のパラメータを予測する画像条件付きハイパーネットワークを採用し、f の単位ノルム勾配を促進するエイコーナル正則化を含める（Eq. 10）。
• L_SDF, L_RGB, L_ray, L_eik の重み付き組み合わせで end-to-end 学習する（Eq. 11）。

実験結果

リサーチクエスチョン

• RQ1 単一視点画像と 2D シルエットだけから、明示的な多視点監視なしに密な 3D 符号距離関数を学習できるか。
• RQ2 2D シルエット距離変換をどのように活用して 3D 表面学習の豊富な幾何監督を提供できるか。
• RQ3 Explicit SDF に基づく微分可能レンダリングは、占有ベースやメッシュベースの事前知識と比較して現実世界の画像で 3D 再構成品質を改善するか。
• RQ4 synthetic および natural image データセット上で、 implicit 3D 形状学習のためのカテゴリ特異的 single-view 学習 regime の利点は何か。

主な発見

• SDF-SRN は ShapeNet データ上で single-view 監視下、 airplane、 car、 chair カテゴリで SoftRas および DVR を上回る（表 1 の accuracy および coverage 指標）。
• SDF-SRN は ShapeNet において depth からの監督を用いた DVR（Depth from visual hull）よりも 3D 形状復元が良好である（表 1）。
• PASCAL3D+ 上の single-view 監視下で、SDF-SRN は airplane、 car、 chair カテゴリで CMR および DVR を上回る定量的利得を示す（表 4）。
• アブレーション研究により RGB レンダリング、重要度ウェイト付け、位置符号化を削除すると性能が低下し、テスト時最適化を伴う完全な SDF-SRN が最良となる（表 3）。
• SDF-SRN は single-view データからの頑健な 3D トポロジー回復を実証し、実世界画像（PASCAL3D+）でも良好な性能を示すことから、大規模な実世界データセットへの実用性を示唆する。