[論文レビュー] Probabilistic Reconstruction Networks for 3D Shape Inference from a Single Image

Roman Klokov, Jakob Verbeek+1 more|arXiv (Cornell University)|Aug 20, 2019

3D Shape Modeling and Analysis参考文献 47被引用数 4

ひとこと要約

本論文は、潜在変数モデルを用いて単一画像からの3次元形状推定を定式化する、確率的再構成ネットワーク（PRN）を導入する。形状表現と推論の分離、および条件付け、学習方針、確率的性質の体系的アブレーションを可能にすることで、ボクセルグリッドのみを用いてShapeNetで最先端の性能を達成した。これは、点群やメッシュを用いた手法を上回るIoUおよびEMD指標を達成した。

ABSTRACT

We study end-to-end learning strategies for 3D shape inference from images, in particular from a single image. Several approaches in this direction have been investigated that explore different shape representations and suitable learning architectures. We focus instead on the underlying probabilistic mechanisms involved and contribute a more principled probabilistic inference-based reconstruction framework, which we coin Probabilistic Reconstruction Networks. This framework expresses image conditioned 3D shape inference through a family of latent variable models, and naturally decouples the choice of shape representations from the inference itself. Moreover, it suggests different options for the image conditioning and allows training in two regimes, using either Monte Carlo or variational approximation of the marginal likelihood. Using our Probabilistic Reconstruction Networks we obtain single image 3D reconstruction results that set a new state of the art on the ShapeNet dataset in terms of the intersection over union and earth mover's distance evaluation metrics. Interestingly, we obtain these results using a basic voxel grid representation, improving over recent work based on finer point cloud or mesh based representations.

研究の動機と目的

• 単一画像からの3次元形状再構成における体系的比較の欠如に応えるため、形状表現、条件付け、推論メカニズムを分離する。
• 形状表現、ネットワークアーキテクチャ、損失関数、確率的定式化を混同する既存手法の制限を克服する。
• 3次元形状再構成における設計選択の公平かつ体系的な評価を可能にする統一的で確率的原理に基づいたフレームワークを構築する。
• 基本的なボクセルグリッド表現を用いてShapeNetベンチマークで最先端の性能を達成し、より洗練された表現（例：点群、メッシュ）が高精度を達成するために不可欠であるという仮定に挑戦する。

提案手法

• 画像に条件づけられた形状生成を $p(\mathbf{v}|\mathbf{z})p(\mathbf{z}|\mathbf{i})$ として定式化する潜在変数モデルとして3次元形状再構成を扱い、画像の条件付けと形状表現の分離を可能にする。
• FiLM層を用いて画像の条件付けを実装し、2次元画像と3次元ボクセル表現間の柔軟で学習可能な条件付けを可能にする。
• 2つの学習レジームを用いてモデルを訓練する：周辺尤度の近似にマルコフチェインモンテカルロ法を、認識ネットワーク $q_\psi(\mathbf{z}|\mathbf{i}, \mathbf{v})$ を用いた変分推論を用いる。
• 潜在変数 $\mathbf{z}$ を削除することで決定的バージョンを検討し、確率的性質が再構成品質に与える影響を評価する。
• 同じ潜在空間を共有する生成的形状モデルと共同で学習することで、分離性と一般化性能の向上を検討する。
• Chamfer距離やEMD指標の直接最適化を行わず、ボクセル占有状態に対するバイナリクロスエントロピー損失を主な最適化目的とする。

実験結果

リサーチクエスチョン

• RQ1 画像、潜在形状、出力形状間の依存構造の選択が再構成品質に与える影響は？
• RQ2 3次元形状再構成において、変分推論が周辺尤度の近似にモンテカルロ法を上回るか？
• RQ3 潜在変数の確率的性質を排除した場合、再構成精度と失敗率にどのような影響があるか？
• RQ4 同じ潜在空間を共有する生成的形状モデルと共同で学習させることで、単一画像からの3次元形状再構成性能が向上するか？
• RQ5 体系的確率的フレームワークを用いる場合、単純なボクセルグリッド表現が、点群やメッシュといったより複雑な表現を上回る性能を発揮できるか？

主な発見

• 変分推論に基づくPRNモデルが、ShapeNetデータセットで最高のIoU（平均66.2、中央値69.9）およびEMD性能を達成し、新たな最先端水準を樹立した。
• 変分モデルはモンテカルロ学習と比較して、失敗再構成が少なく、より詳細な出力を生成した。両者で平均性能は類似していたが、モンテカルロ学習は劣悪な結果を多く生じた。
• PRNモデルの決定的バージョンは、両方の確率的バージョンよりも性能が悪く、潜在空間における確率的性質が、耐障害性と精度を向上させることを示した。
• 基本的なボクセルグリッド表現のみを用いても、PRNは点群やメッシュを用いた最近の手法をIoUおよびEMD指標の両方で上回った。
• 変分推論で学習したモデルが最も正確な再構成を達成し、IoUが70以上の上位バケットに最も多くの形状が含まれており、分布推定の優位性を確認した。
• PRNフレームワークにより、設計選択の体系的アブレーションが可能となり、画像の条件付けと学習レジームが、形状表現の選択よりも性能に大きな影響を与えることが明らかになった。