[論文レビュー] Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction

Yi Wei, Shaohui Liu+3 more|arXiv (Cornell University)|Apr 14, 2019

Advanced Vision and Imaging参考文献 51被引用数 10

ひとこと要約

本論文は、ランダムな潜在ベクトルを用いて形状の不確実性をモデル化することで、遮蔽を扱う条件付き生成モデルを提案する。複数視点の再構成を、個々の視点から生成された形状空間の共通部分として定式化し、微分可能制約（前面制約、多様性、一貫性）を用いることで、ShapeNetCoreにおいて最先端の3D再構成精度を達成するとともに、実世界のデータに対しても良好な一般化性能を示す。

ABSTRACT

In this paper, we present a new perspective towards image-based shape generation. Most existing deep learning based shape reconstruction methods employ a single-view deterministic model which is sometimes insufficient to determine a single groundtruth shape because the back part is occluded. In this work, we first introduce a conditional generative network to model the uncertainty for single-view reconstruction. Then, we formulate the task of multi-view reconstruction as taking the intersection of the predicted shape spaces on each single image. We design new differentiable guidance including the front constraint, the diversity constraint, and the consistency loss to enable effective single-view conditional generation and multi-view synthesis. Experimental results and ablation studies show that our proposed approach outperforms state-of-the-art methods on 3D reconstruction test error and demonstrate its generalization ability on real world data.

研究の動機と目的

• 単一視点3D再構成の根本的限界、すなわち遮蔽により決定論的モデルが形状全体を正確に推定できない問題に対処すること。
• ランダムな潜在ベクトルに条件づけられた生成ネットワークを学習することで、単一視点再構成における形状の不確実性をモデル化すること。
• 単一視点の条件付きモデルを、複数視点ステレオ再構成に拡張するために、各視点から予測された形状空間の共通部分として定式化すること。
• 前面制約、多様性、一貫性の微分可能制約を導入することで、再構成精度を向上させるとともに、実世界データへの一般化性能を向上させること。
• 事前レンダリング済みの深度画像とカメラポーズのみに依存し、明示的な3Dの教師信号を一切用いずに、最先端の性能を達成すること。

提案手法

• 教師信号が部分的に与えられる設定で、条件付き生成ネットワークを学習させ、真の形状を妥当な形状空間からの1つのサンプルとして扱う。
• 微分可能な前面制約により、生成された形状の前面部分が入力画像の投影深度と一致することを保証し、学習中の勾配伝搬を可能にする。
• 異なる潜在ベクトルをサンプリングすることで、複数の妥当な形状を生成するよう促す多様性制約を導入し、形状空間のカバー範囲を拡大する。
• 複数視点再構成では、最終的な形状を各視点から予測された形状空間の共通部分として扱い、一貫性を保つためにペアワイズ距離メトリックを用いる。
• 各視点の条件付きモデルの潜在ベクトルに対して、オンライン最適化を実行し、予測を精緻化するとともに、複数視点の一貫性を強制する。
• 最適化後、複数視点の点群結果を連結することで、最終的な3D形状を取得する。

実験結果

リサーチクエスチョン

• RQ1 条件付き生成モデルは、遮蔽下における単一視点3D再構成において、形状の不確実性を効果的にモデル化できるか？
• RQ2 複数視点ステレオ再構成は、個々の視点から生成された形状空間の共通部分としてどのように定式化できるか？
• RQ3 条件付き生成を効果的に導くとともに、複数視点の一貫性を保証するために最も有効な微分可能制約は何か？
• RQ4 提案手法は、合成データセットをはるかに超えて、実世界の非対称的かつ複雑な形状に対しても一般化できるか？
• RQ5 一貫性損失を最小化することは、どの程度3D再構成精度の向上と相関するか？

主な発見

• 提案手法は、ShapeNetCoreデータセットにおいて、チャムファーディスタンス（CD）が3.37、ハウスドルフディスタンス（HD）が4.08という最先端の3D再構成テスト誤差を達成した。
• 一貫性損失は再構成誤差と強く正の相関を示しており、損失を最小化することでCD指標が一貫して低減することがわかった。
• アブレーションスタディにより、2段階学習、多様性制約、一貫性損失の各要素が性能向上に寄与していることが確認された。
• 実世界データへの一般化性能が顕著に高く、スタンフォード・オンラインプロダクツデータセットを用いた実験で、非対称な物体において対称性を仮定する手法を上回った。
• 潜在ベクトルに対するオンライン最適化により、ヒューリスティックな初期化に比べて性能が向上し、CDは1.40から1.40（bpあり）に、HDは7.76から2.80に低下した。
• 前面制約により効果的な勾配伝搬が可能となったが、レンダリングにおける非微分可能な量子化のため、投影損失は収束しなかった。