[論文レビュー] MVPNet: Multi-View Point Regression Networks for 3D Object Reconstruction from A Single Image

Jinglu Wang, Bo Sun+1 more|arXiv (Cornell University)|Nov 23, 2018

3D Shape Modeling and Analysis参考文献 27被引用数 6

ひとこと要約

MVPNetは、2次元グリッドに埋め込まれた視点依存の3次元点群を生成することで、1枚の画像から高密度な3次元オブジェクト表面を再構築するマルチビュー点群回帰ネットワークを提案する。これにより、効率的なCNN処理とメッシュ再構築が可能となる。また、三角形メッシュ上で直接3次元表面の乖離を測定する新しい幾何的損失を採用することで、従来手法に比べ顕著に精度が向上し、最先端の性能を達成している。

ABSTRACT

In this paper, we address the problem of reconstructing an object's surface from a single image using generative networks. First, we represent a 3D surface with an aggregation of dense point clouds from multiple views. Each point cloud is embedded in a regular 2D grid aligned on an image plane of a viewpoint, making the point cloud convolution-favored and ordered so as to fit into deep network architectures. The point clouds can be easily triangulated by exploiting connectivities of the 2D grids to form mesh-based surfaces. Second, we propose an encoder-decoder network that generates such kind of multiple view-dependent point clouds from a single image by regressing their 3D coordinates and visibilities. We also introduce a novel geometric loss that is able to interpret discrepancy over 3D surfaces as opposed to 2D projective planes, resorting to the surface discretization on the constructed meshes. We demonstrate that the multi-view point regression network outperforms state-of-the-art methods with a significant improvement on challenging datasets.

研究の動機と目的

• 深層学習を活用して、1枚のRGB画像からの3次元オブジェクト再構築という不適切に定義された問題に取り組むこと。
• ボクセルベースや順序なし点群表現の制限を克服するため、構造的で視点ベースの点群表現を導入すること。
• 画像平面に整合した規則的な2次元グリッドに3次元点群を埋め込むことで、CNNを用いた効率的な学習と推論を可能にすること。
• 2次元投影面上ではなく3次元表面の変動に直接作用する幾何的損失を設計することで、再構築精度を向上させること。
• 特に凹形状や複雑な形状においても、高精細で詳細な再構築を実現し、優れた詳細回復と一貫性を達成すること。

提案手法

• 3次元表面をマルチビュー点群（MVPC）として表現し、各視点の点群を画像平面に整合した2次元グリッドに格納。各ピクセルには3次元座標と可視性が格納される。
• 重み共有されたデコーダーブランチを備えたエンコーダデコーダーネットワークが、1枚の入力画像から複数の視点の3次元座標と可視性を回帰する。
• 1ビュー点群（1-VPC）は2次元グリッドの接続性を用いて三角形メッシュにトライアングレートされ、幾何的表面解析が可能になる。
• 3次元空間における表面変動の積分を計算する、新しい幾何的損失を導入。2次元射影平面上ではなく、3次元空間で乖離を測定する。
• 体積変動、予測信頼度、マルチビュー一貫性を統合することで、空間的一致性と隠蔽処理の向上を図る。
• 幾何的損失を用いたエンドツーエンドのバックプロパゲーションにより、3次元表面の忠実度を直接最適化できる。

実験結果

リサーチクエスチョン

• RQ1 規則的な2次元グリッドに埋め込まれた視点ベースの3次元表現は、CNNを用いた効率的で正確な3次元再構築を可能にするか？
• RQ2 深度ではなく3次元座標を直接回帰することで、再構築品質と安定性が向上するか？
• RQ3 2次元投影面上ではなく3次元表面の変動に作用する幾何的損失は、顕著な性能向上をもたらすか？
• RQ4 複雑な形状、特に凹形状や細部にまで良好に一般化できるか？
• RQ5 学習された特徴空間は、3次元形状の意味的な補間や生成的モデリングをサポートできるか？

主な発見

• MVPNetはShapeNet-Chairデータセットで最先端の性能を達成し、IoUが0.667を記録。次に良い手法（0.57）を大きく上回った。
• ShapeNet-13データセットでは、13クラス中12クラスでIoUで全手法を上回り、10クラスで6視点で最高の結果を達成した。
• ベースライン手法（例：1024点）に比べ、点群密度が高め（約15,000点）であり、背もたれや機体尾部、車輪の細部など、細部の回復に優れた性能を示した。
• 幾何的損失により、特に車両トランクや多層翼のような凹領域の性能が顕著に向上。3次元空間における表面変動をモデル化することで、再構築精度が向上した。
• 直接3次元座標を回帰する手法は、深度回帰よりもIoUで約4%高い性能を示した。これは3次元空間におけるより柔軟で安定した最適化を可能にする。
• 定性的な結果から、潜在特徴の線形補間における滑らかで漸化的な変化が観察され、生成的モデリングに適した滑らかで代表的な特徴空間であることが示された。