[論文レビュー] HyperFlow: Representing 3D Objects as Surfaces

Przemysław Spurek, Maciej Zięba+2 more|arXiv (Cornell University)|Jun 15, 2020

3D Shape Modeling and Analysis参考文献 32被引用数 5

ひとこと要約

HyperFlowは、連続的正規化フロー（CNF）のターゲットネットワークの重みを生成するハイパーネットワークを用いて、3次元オブジェクトを連続的表面として表現する新しい生成モデルを提案する。非コン pact 支持を持つ球面対数正規事前分布を導入することで、PointFlow らの先行手法と比較して10倍以上高速な学習と低メモリ使用量を実現し、点群からの高品質なメッシュ再構成を可能にする。

ABSTRACT

In this work, we present HyperFlow - a novel generative model that leverages hypernetworks to create continuous 3D object representations in a form of lightweight surfaces (meshes), directly out of point clouds. Efficient object representations are essential for many computer vision applications, including robotic manipulation and autonomous driving. However, creating those representations is often cumbersome, because it requires processing unordered sets of point clouds. Therefore, it is either computationally expensive, due to additional optimization constraints such as permutation invariance, or leads to quantization losses introduced by binning point clouds into discrete voxels. Inspired by mesh-based representations of objects used in computer graphics, we postulate a fundamentally different approach and represent 3D objects as a family of surfaces. To that end, we devise a generative model that uses a hypernetwork to return the weights of a Continuous Normalizing Flows (CNF) target network. The goal of this target network is to map points from a probability distribution into a 3D mesh. To avoid numerical instability of the CNF on compact support distributions, we propose a new Spherical Log-Normal function which models density of 3D points around object surfaces mimicking noise introduced by 3D capturing devices. As a result, we obtain continuous mesh-based object representations that yield better qualitative results than competing approaches, while reducing training time by over an order of magnitude.

研究の動機と目的

• 離散的ボクセルや量子化誤差を伴う点群に依存する従来の3次元オブジェクト表現手法の限界を解消すること。
• 自己符号化器の潜在空間に条件付けられたCNFベースのモデル（例：PointFlow）が示す計算の非効率性と高いメモリ使用量を克服すること。
• ノイズを含む3次元スキャンデバイスからの入力に強く、連続的かつメッシュベースの3次元オブジェクト表現を可能にすること。
• ビニングや最適化制約なしに、順不同の点群から直接高品質な3次元メッシュを生成する生成モデルを開発すること。
• 最先端のアプローチと比較して、再構成品質を維持または向上させながら、学習時間とメモリ使用量を削減すること。

提案手法

• HyperFlowは、3次元球面上の一様分布を3次元点群へ写像するCNFターゲットネットワークの重みを、ハイパーネットワークによって生成する。
• 点群密度をオブジェクト表面周辺にモデル化するため、CNFに必要な非コン pact 支持を有する、新規の球面対数正規分布を導入する。
• 球面対数正規事前分布は、LIDAR や深度カメラからの登録ノイズを模倣するように設計されており、3次元ガウス分布の半径分布と一致するようにパラメータが導出されている。
• メッシュは三角形分割のテクニックにより生成される：異なる半径の球面上で球面対数正規事前分布から点をサンプリングし、それらを三角形分割して表面を形成する。
• CNFターゲットネットワークは、事前分布を観測された点群分布へ変換するように学習され、連続的かつ可逆的な3次元幾何構造の生成を可能にする。
• 直接的な点対点マッピングではなく分布表現を学習することにより、順列に敏感な問題や可変な入力サイズの問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットワークベースのアーキテクチャは、高品質なメッシュ出力を維持しながら、3次元生成モデルにおける学習時間とメモリ使用量を削減できるか？
• RQ2 非コン pact 支持を持つ球面対数正規事前分布は、点群からの安定的かつ正確なCNFベースの3次元生成を可能にするか？
• RQ3 異なる半径の球面上での三角形分割のテクニックは、連続的フローに基づく点群生成から高品質でノイズ除去された3次元メッシュを生成できるか？
• RQ4 標準的な3次元ベンチマークにおいて、提案手法はPointFlow や HyperCloud と比較して再構成品質と効率性において優れているか？
• RQ5 球面対数正規事前分布は、3次元オブジェクト生成において、標準的なガウス事前分布よりも現実のスキャンノイズをよりよくモデル化できるか？

主な発見

• PointFlow が自己符号化器の潜在空間にCNFを条件付けているのと比較して、HyperFlow は学習時間とメモリ使用量を10倍以上削減した。
• 球面対数正規事前分布により、非コン pact 支持が得られ、従来のガウス事前分布が表面モデリングを不安定または不正確にさせるのを防げる。
• 異なる半径の球面上での三角形分割により生成されたメッシュは、高品質でノイズ除去された表現を示し、ガウスベースのモデルに比べて安定性が向上した。
• 本手法は、視覚的忠実度において3次元メッシュ再構成の最先端の結果を達成しており、PointFlow や HyperCloud を上回った。
• 三角形分割ステップでの球の半径を調整することで、ステアリングホイルなどの内部構造を持つ複雑な3次元形状（例：車）を効果的に再構成できた。
• 球面対数正規分布は、3次元等方ガウス分布の半径分布と一致するように数学的に導出されており、スキャンノイズの最適なモデリングを保証する。