[論文レビュー] CvxNet: Learnable Convex Decomposition

Boyang Deng, Kyle Genova+4 more|arXiv (Cornell University)|Sep 12, 2019

3D Shape Modeling and Analysis参考文献 73被引用数 7

ひとこと要約

CvxNet は、3次元形状を少数の凸ポリトープに分解するための微分可能で自己教師ありニューラルネットワークを提案する。このアプローチにより、3次元再構成やパーツベース検索などのタスクにおけるエンド・ツー・エンド学習が可能になる。マルチビュー深度再構成において最先端の性能を達成し、再構成精度と意味的整合性の両面で先行手法を上回る。

ABSTRACT

Any solid object can be decomposed into a collection of convex polytopes (in short, convexes). When a small number of convexes are used, such a decomposition can be thought of as a piece-wise approximation of the geometry. This decomposition is fundamental in computer graphics, where it provides one of the most common ways to approximate geometry, for example, in real-time physics simulation. A convex object also has the property of being simultaneously an explicit and implicit representation: one can interpret it explicitly as a mesh derived by computing the vertices of a convex hull, or implicitly as the collection of half-space constraints or support functions. Their implicit representation makes them particularly well suited for neural network training, as they abstract away from the topology of the geometry they need to represent. However, at testing time, convexes can also generate explicit representations -- polygonal meshes -- which can then be used in any downstream application. We introduce a network architecture to represent a low dimensional family of convexes. This family is automatically derived via an auto-encoding process. We investigate the applications of this architecture including automatic convex decomposition, image to 3D reconstruction, and part-based shape retrieval.

研究の動機と目的

• 3次元形状の集合から低次元の凸ポリトープの族を学習できる自己教師ありでエンド・ツー・エンド微分可能なアーキテクチャの開発。
• 人間のラベルなしで、凸形状の幾何学的・トポロジカルな性質を活用した自動凸分解の実現。
• 計算コストの高い等値面抽出（例：Marching Cubes）を回避するため、直接ポリゴナルメッシュ出力を生成する。
• リアルタイム物理シミュレーション、画像からの3次元再構成、意味的パーツ検索などの下流タスクを支援する。
• 形状間で一貫性のあるラベル付けとパーツ検索を可能にする、意味的構造を捉えたパーツベース表現の確立。

提案手法

• ネットワークは自己符号化器アーキテクチャを採用し、形状エンコーダが3次元幾何を凸成分を表す潜在コードにマップする。
• 各凸は半空間制約として一連の超平面によって暗黙的に表現され、ソフトマックス（LogSumExp）関数により凸定義を通過する勾配伝搬が可能になる。
• デコーダは、凸成分の暗黙的インジケータ関数を微分可能和演算を用いて結合し、元の形状を再構成する。
• マルチコンポonent損失を用いてモデルを訓練する：符号付き距離関数に基づく再構成損失、予測凸と真値プリミティブの整合性を保つガイド損失、幾何的忠実度を維持するローカル損失。
• 人間によるパーツラベルなしで、ボクセル、点群、深度マップ、またはRGB画像といった生の3次元データからエンド・ツー・エンドに学習する。
• 出力はポリゴナルメッシュとして表される凸ポリトープの集合であり、追加処理なしにグラフィックスや物理シミュレーションパイプラインで直接利用可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、凸プリミティブのみを用いて、コン pact で分離可能かつ意味的に意味のある3次元形状表現を学習できるか？
• RQ2 自己教師ありで微分可能なアーキテクチャは、マルチビュー深度または単一RGB画像から凸分解を用いて3次元形状をどれほど正確に再構成できるか？
• RQ3 CvxNet が学習する凸分解は、形状カテゴリ間（例：いすの脚、テーブルの天板）でどの程度意味的整合性を保っているか？
• RQ4 学習された凸表現は、パーツベース形状検索や物理シミュレーションなどの下流タスクをサポートできるか？
• RQ5 Fスコアと再構成精度という観点から、CvxNet の性能は3次元再構成および凸分解分野の最先端手法と比べてどの程度優れているか？

主な発見

• CvxNet はマルチビュー深度入力再構成において、最先端の F スコアを達成し、定量的評価で先行手法 OccNet [44] を上回った。
• 再構成精度とプリミティブ数のトレードオフを表すパレート最適曲線において、SIF [21] を上回り、コンパクト性と忠実度の両面で優れたトレードオフを示した。
• コンポonent対応による意味的パーツラベル付けは PartNet データセットで高い精度を達成し、同様の形状部品（例：いすの脚）に対して一貫したラベル付けがなされた。
• ネットワークは直接明示的なポリゴナルメッシュ出力を生成し、計算コストの高い等値面抽出（例：Marching Cubes）を回避するため、物理シミュレーションやレンダリングパイプラインで直接利用可能である。
• アブレーションスタディにより、再構成損失、ガイド損失、ローカル損失のすべての成分が有効な学習に不可欠であり、ボトルネック次元や凸数の変動に対してもモデルが頑健であることが確認された。
• CvxNet は RGB から 3D 再構成へも良好に一般化され、事前学習なしにエンコーダとデコーダをすべてから訓練したにもかかわらず、最先端の手法と同等の性能を達成した。