[論文レビュー] DISN: Deep Implicit Surface Network for High-quality Single-view 3D Reconstruction

Qiangeng Xu, Weiyue Wang+3 more|arXiv (Cornell University)|May 26, 2019

Advanced Vision and Imaging参考文献 33被引用数 239

ひとこと要約

DISN は、全局と局所の画像特徴を組み合わせることで単一画像から連続符号付き距離場を予測し、固定トポロジーを持たない高品質で詳細豊かな3Dメッシュ再構成を可能にします。最先端の単一視点法を上回り、多視点拡張をサポートします。

ABSTRACT

Reconstructing 3D shapes from single-view images has been a long-standing research problem. In this paper, we present DISN, a Deep Implicit Surface Network which can generate a high-quality detail-rich 3D mesh from an 2D image by predicting the underlying signed distance fields. In addition to utilizing global image features, DISN predicts the projected location for each 3D point on the 2D image, and extracts local features from the image feature maps. Combining global and local features significantly improves the accuracy of the signed distance field prediction, especially for the detail-rich areas. To the best of our knowledge, DISN is the first method that constantly captures details such as holes and thin structures present in 3D shapes from single-view images. DISN achieves the state-of-the-art single-view reconstruction performance on a variety of shape categories reconstructed from both synthetic and real images. Code is available at https://github.com/xharlie/DISN The supplementary can be found at https://xharlie.github.io/images/neurips_2019_supp.pdf

研究の動機と目的

• 微細なディテールと穴を捉えるため、隠れた表面を用いた単一視点の3D再構成の改善を目指す。
• 2D画像からSDF値を予測する Deep Implicit Surface Network (DISN) を提案する。
• 3Dクエリ点を画像へ投影して局所特徴抽出のための6Dカメラ姿勢表現を推定する。
• ShapeNet Core の複数カテゴリにおいて最先端の精度を示し、カメラ姿勢と局所特徴の影響を分析する。
• マルチビュー再構成への拡張と関連アプリケーションを提示する。

提案手法

• 入力画像に対して3D点のSDF値を予測し、3D形状を符号付き距離関数(SDF)として表現する。
• CNNエンコーダを用いてグローバルな画像特徴を抽出し、3D点を画像平面に投影して局所特徴抽出のための6Dカメラ姿勢表現を推定する。
• 投影された画像位置の特徴マップから抽出された局所特徴ストリームをSDF予測に追加し、グローバル特徴と点特徴と連結する。
• 連続SDF値に対する回帰損失で学習し、ディテール忠実度のために等値面近傍の領域を強調する重み付き損失を含む。
• 高密度な3DグリッドをサンプリングしてSDF値を予測し、Marching Cubesを用いてメッシュを抽出して表面を再構成する。
• デコード前に複数のビューからの特徴を最大プーリングで集約してマルチビュー再構成へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 固定トポロジー制約なしに、深層ネットワークは単一の画像から任意の3D点の連続SDF値を予測できるだろうか？
• RQ2 局所的な画像特徴（投影されたパッチを介して）を組み込むことは、グローバル特徴のみを使用する場合と比べて、穴や薄い構造などの微細なディテールの再構成を改善するだろうか？
• RQ3 推定されたカメラ姿勢は、単一視点再構成におけるSDF予測と最終的なメッシュ品質にどう影響するか？
• RQ4 この手法はマルチビュー入力へ拡張して、さらにディテールと精度を向上させることができるか？
• RQ5 合成データおよび実データにおいて、標準的な3D再構成指標の観点でDISNは最先端手法とどのように比較されるか？

主な発見

• DISN は ShapeNet Core のカテゴリ全体で単一視点の3D再構成において最先端の性能を達成し、EMD および IoU 指標でベースラインを上回る。
• 投影された画像パッチを介した局所特徴抽出モジュールを組み込むと、グローバル特徴のみを使用する場合と比べて、微細なディテールの回復が大幅に向上する。
• カメラ姿勢の6D回転表現と提案された損失は安定した学習と正確な姿勢推定を促進し、再構成品質の向上に寄与する。
• 実測カメラ姿勢は定量的結果を良くするが、推定された姿勢でも小さな再投影誤差で定性的にも競争力のある再構成を生み出す。
• DISN はカメラ姿勢推定誤差に対して頑健であり、SDFベースのフレームワークは固定ボリューム3D CNN アプローチより滑らかな表面を生み出す。
• この手法は実画像やオンライン製品画像にも一般化でき、マルチビュー特徴量の集約によるさらなる改善とともにマルチビュー再構成をサポートする。