[論文レビュー] A Point Set Generation Network for 3D Object Reconstruction from a Single Image

Haoqiang Fan, Hao Su+1 more|arXiv (Cornell University)|Dec 2, 2016

3D Shape Modeling and Analysis参考文献 19被引用数 55

ひとこと要約

本論文は、1枚の画像から3次元オブジェクト再構築を行うための新規なポイントセット生成ネットワーク（PSGN）を提案する。条件付き生成モデルを用いて、複数の妥当な3次元ポイントクラウドを予測する。真のラベルの曖昧さと不規則なポイントクラウド出力を扱うために、微分可能な損失関数として地球移動距離（EMD）を採用することで、単一画像からの3次元再構築ベンチマークで最先端の性能を達成し、再構築品質と予測の多様性の両面で先行研究を上回った。

ABSTRACT

Generation of 3D data by deep neural network has been attracting increasing attention in the research community. The majority of extant works resort to regular representations such as volumetric grids or collection of images; however, these representations obscure the natural invariance of 3D shapes under geometric transformations and also suffer from a number of other issues. In this paper we address the problem of 3D reconstruction from a single image, generating a straight-forward form of output -- point cloud coordinates. Along with this problem arises a unique and interesting issue, that the groundtruth shape for an input image may be ambiguous. Driven by this unorthodox output form and the inherent ambiguity in groundtruth, we design architecture, loss function and learning paradigm that are novel and effective. Our final solution is a conditional shape sampler, capable of predicting multiple plausible 3D point clouds from an input image. In experiments not only can our system outperform state-of-the-art methods on single image based 3d reconstruction benchmarks; but it also shows a strong performance for 3d shape completion and promising ability in making multiple plausible predictions.

研究の動機と目的

• 1枚の2次元画像に対して複数の妥当な3次元形状が対応しうるという、単一画像からの3次元再構築問題の不適切な定式化に対処すること。
• ボクセルグリッドやメッシュなどの従来の3次元表現の限界を克服すること。これらは幾何的不変性を曇らせ、量子化アーチファクトを生じさせる。
• 順序のないポイントクラウドを直接出力するディープ生成モデルを設計すること。これはより自然で柔軟な3次元表現である。
• 真のラベルの形状に内在する曖昧さを扱うために、出力を妥当な3次元形状の条件付き分布としてモデル化すること。

提案手法

• 1枚の画像入力から複数の妥当な3次元ポイントクラウドを生成する条件付き形状サンプラーを提案する。
• 768ポイント用のデコンボリューションブランチと256ポイント用の完全結合ブランチを備えたディープエンコーダデコーダアーキテクチャを用いる。
• 予測されたポイント集合と真のラベルとの距離を測るため、微分可能な損失関数として地球移動距離（EMD）の近似を採用する。
• ポイントクラウドをボリュームメッシュに変換するための後処理用3次元畳み込みネットワークを導入し、再構築品質を向上させる。
• 192×256解像度の画像で、Adam最適化アルゴリズムを用いてエンドツーエンドで学習し、300,000ステップの学習スケジュールを採用する。
• 物体のサイズの違いにわたる一般化を向上させるために、別個のボリューム予測ネットワークを組み込む。

実験結果

リサーチクエスチョン

• RQ1 1枚の2次元画像から、複数の妥当な3次元形状が存在する場合でも、ディープラーニングモデルが多様で高品質な3次元ポイントクラウドを効果的に生成できるか？
• RQ2 ポイント集合の順序不変性と不規則な構造を考慮すると、どのようにしてポイントクラウド生成を公平に評価できる微分可能な損失関数を設計できるか？
• RQ3 標準的なL2またはチェンファーディスタンス損失と比較して、EMDに基づく学習は一般化性と多様性をどの程度向上させられるか？
• RQ4 1つのネットワークが、1枚の画像から不完全または曖昧な3次元形状の複数の妥当な完成形を学習して生成できるか？
• RQ5 遮蔽や欠落した幾何的手がかりがある状況下でも、形状補完および再構築において、モデルの性能はいかがなものか？

主な発見

• EMD損失で学習したモデルは、EMDおよびチェンファーディスタンス（CD）の両指標で優れた性能を示し、ベンチマークデータセットで最先端の手法を上回った。
• CD損失で学習したモデルでさえも、EMD損失で学習したモデルは、より均等に分布したポイントクラウドを生成し、EMD値も低く抑えられていた。
• 曖昧な入力（例：部分的に遮蔽された椅子や多角形でない物体）に対して、EMD損失で学習したモデルは人間被験者よりも優れた一般化性能を示した。人間被験者は欠落や曖昧な手がかりに苦労した。
• モデルは1枚の入力画像に対して複数の妥当な3次元再構築を効果的に生成でき、条件付き形状サンプラーとしての能力を示した。
• 学習済み3次元CNNとボリューム予測による後処理により再構築品質が向上し、全体のパイプラインは3D-R2N2を上回った。
• 失敗事例から、注目機構や検出機構を備えていない場合、未観測のオブジェクトカテゴリやマルチオブジェクトシーンへの一般化に限界があることが明らかになった。