[論文レビュー] D$^2$IM-Net: Learning Detail Disentangled Implicit Fields from Single Images

Manyi Li, Hao Zhang|arXiv (Cornell University)|Dec 11, 2020

3D Shape Modeling and Analysis参考文献 4被引用数 5

ひとこと要約

D$^2$IM-Netは、二重デコーダー構造を用いて粗い形状と細かな幾何的詳細を分離する、新しい1枚画像からの3D再構築ネットワークを提案する。グローバルおよびローカル特徴から、ベースの暗黙的フィールドと2つの変位マップ（前後）を予測し、表面の詳細を保持するための新しいラプラシアンに基づく損失関数を導入することで、詳細の教師なし学習を伴わず、高精度な再構築と形状間の詳細転送を実現する。

ABSTRACT

We present the first single-view 3D reconstruction network aimed at recovering geometric details from an input image which encompass both topological shape structures and surface features. Our key idea is to train the network to learn a detail disentangled reconstruction consisting of two functions, one implicit field representing the coarse 3D shape and the other capturing the details. Given an input image, our network, coined D$^2$IM-Net, encodes it into global and local features which are respectively fed into two decoders. The base decoder uses the global features to reconstruct a coarse implicit field, while the detail decoder reconstructs, from the local features, two displacement maps, defined over the front and back sides of the captured object. The final 3D reconstruction is a fusion between the base shape and the displacement maps, with three losses enforcing the recovery of coarse shape, overall structure, and surface details via a novel Laplacian term.

研究の動機と目的

• 既存の暗黙的ネットワークがうまく捉えられない表面特徴を含む、細かな幾何的詳細の回復に課題を提起すること。
• 詳細の教師データが不要な弱教師付きの枠組みで、粗い形状と細かな詳細を分離すること。
• ソース画像からの分離済み変位マップをターゲットの粗い形状に統合することで、3D形状間の詳細転送を可能にすること。
• 符号付き距離関数のラプラシアンを活用して、表面レベルの幾何構造を効果的に捉える損失関数の開発。
• 対称性の事前知識や色・材質の手がかりに依存せず、13のShapeNetカテゴリに一般化すること。

提案手法

• ネットワークは、1枚のRGB画像からグローバル特徴とローカル特徴を抽出する共有エンコーダを用いる。
• ベースデコーダーはグローバル特徴から粗い暗黙的フィールド（SDF）を再構築するが、詳細デコーダーはローカル特徴から2つの2次元変位マップ（前面および背面）を予測する。
• 最終的な3D再構築は、ベースSDFと変位マップを統合することで得られ、変位値はカメラパラメータを用いてベース形状に投影される。
• 変位マップのラプラシアン損失が新規に導入され、SDFのラプラシアンが局所的な表面変動に敏感であることに着目している。
• 3つの損失関数が用いられる：ベースSDF損失、統合形状上の全SDF損失、および前面変位マップ上のラプラシアン損失で、これらはすべてエンドツーエンドで最適化される。
• 詳細転送のため、事前学習済みのセグメンテーションを用いて、ソース形状とターゲット形状の意味的部品間の3次元対応関係を確立し、局所的な変位マップ統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 詳細の明示的教師データがなくても、1枚画像からの3D再構築ネットワークが粗い形状と細かな幾何的詳細を効果的に分離できるか？
• RQ2 符号付き距離関数のラプラシアンが、弱教師付き学習における表面詳細の教師として信頼できる代理指標として機能できるか？
• RQ3 分離済みの変位マップが、ターゲット形状の粗い構造を保持したまま、異なる3D形状間で高品質な詳細転送を可能にするか？
• RQ4 対称性や材質の事前知識に依存せず、多様な13の形状カテゴリに一般化できるか？
• RQ5 やや曲がった表面や非平面な表面において、表面の詳細がどの程度回復されるか？

主な発見

• 可視化により、変位マップがベース形状に存在しないスラット、テクスチャ、細かな特徴を捉えていることから、粗い形状と表面詳細が成功裏に分離されていることが示された。
• 図3の結果から、変位フィールドのラプラシアンと正解SDFとの類似性が高く、ラプラシアン損失が正解SDFの局所的曲率感度を効果的に模倣していることが裏付けられた。
• 詳細転送の実験では、ソース画像の詳細（例：いすのスラット）がターゲット形状に正確に転送され、ターゲットの粗い幾何構造が保持された。
• 「ペースト＆リコンストラクト」機能が実現可能であり、ターゲット画像にペーストされたロゴの特徴が最終出力の3D形状に正確に保持された。
• ネットワークは13のShapeNetカテゴリに一般化し、わずかに曲がった表面に対しても良好に動作するが、極めて曲がったまたは突出した幾何形状では性能が低下する。
• アブレーションスタディにより、ラプラシアン損失が表面詳細回復において不可欠であることが確認され、これを除去すると細粒度の表面特徴が消失した。