[論文レビュー] Combinatorial 3D Shape Generation via Sequential Assembly

Jungtaek Kim, Hyunsoo Chung+3 more|arXiv (Cornell University)|Apr 16, 2020

3D Shape Modeling and Analysis参考文献 44被引用数 7

ひとこと要約

本稿では、幾何学的プリミティブの逐次的組み立てを用いた組み合わせ的3次元形状生成のためのベイズ最適化ベースのフレームワークを提案する。形状合成における組み合わせ的爆発問題に対処する。評価関数にグローバルな形状ガイドラインと物理的安定性を統合することで、妥当なプリミティブの組み合わせを効率的に探索し、サンプル効率的で現実的な3次元形状生成を実現するとともに、ベンチマーク用に14クラス、406インスタンスの新しいデータセットを導入する。

ABSTRACT

Sequential assembly with geometric primitives has drawn attention in robotics and 3D vision since it yields a practical blueprint to construct a target shape. However, due to its combinatorial property, a greedy method falls short of generating a sequence of volumetric primitives. To alleviate this consequence induced by a huge number of feasible combinations, we propose a combinatorial 3D shape generation framework. The proposed framework reflects an important aspect of human generation processes in real life -- we often create a 3D shape by sequentially assembling unit primitives with geometric constraints. To find the desired combination regarding combination evaluations, we adopt Bayesian optimization, which is able to exploit and explore efficiently the feasible regions constrained by the current primitive placements. An evaluation function conveys global structure guidance for an assembly process and stability in terms of gravity and external forces simultaneously. Experimental results demonstrate that our method successfully generates combinatorial 3D shapes and simulates more realistic generation processes. We also introduce a new dataset for combinatorial 3D shape generation. All the codes are available at \url{https://github.com/POSTECH-CVLab/Combinatorial-3D-Shape-Generation}.

研究の動機と目的

• 幾何学的プリミティブを組み立てる際の3次元形状生成における組み合わせ的爆発問題に対処すること。
• 幾何的制約と安定性の考察を用いて、人間の類似した逐次的アセンブリプロセスをモデル化すること。
• 膨大な組み合わせ空間におけるブルートフォース探索を回避する、サンプル効率的な手法を開発すること。
• 逐次的プリミティブアセンブリを用いた組み合わせ的3次元形状生成のための新規ベンチマークデータセットを導入すること。
• グローバル構造と物理的力に従った、現実的で安定した3次元形状生成を可能にすること。

提案手法

• 本手法は、探索空間内で探索と活用のバランスを取るために、逐次的に次のプリミティブ配置を選択するベイズ最適化を用いる。
• 評価関数は、グローバルな形状ガイドライン（例：高さ、幅、奥行き、接続ステッド）と物理的安定性（重力および外部力）を統合する。
• 局所最適解から脱出するためのロールバック機構をフレームワークに組み込み、性能が連続的に停滞した場合に起動する。
• 無限のロールバックを防ぐために、繰り返しの配置を禁止し、最大5回の連続ロールバックを制限する。
• アセンブリプロセスを、重複および接触の検証を伴う制約付きプリミティブ配置の系列としてモデル化する。
• 微分可能評価関数を実装し、部品のサンプリング、削除、およびシーケンスの操作をサポートする。

実験結果

リサーチクエスチョン

• RQ1 幾何学的プリミティブを用いた3次元形状生成における組み合わせ的爆発を、ベイズ最適化が効果的に扱えるか。
• RQ2 グローバルな形状構造と物理的安定性をどのように統合的にモデル化することで、現実的な3次元形状アセンブリをガイドできるか。
• RQ3 逐次的アセンブリフレームワークが、人間の類似した3次元形状構築プロセスをどの程度模倣できるか。
• RQ4 逐次的で分解可能かつ操作可能なプリミティブシーケンスを備えた新規データセットが、組み合わせ的3次元生成のための有効なベンチマークとして機能するか。
• RQ5 サンプル効率性および最適構成への収束性において、本手法がベースラインと比較してどの程度優れているか。

主な発見

• 提案手法は、118個のユニットプリミティブを用いて、現実的な逐次的アセンブリプロセスで車のような複雑な3次元形状を生成できた。
• 4つの評価実験すべてにおいて、ベースラインを上回り、オракル性能に最も近い結果を達成した。
• ブルートフォースの全列挙を回避するサンプル効率性を示した。5つの2×4 LEGOブロックを用いた場合、組み合わせ数が5900万以上に達しても同様であった。
• 新規の組み合わせ的3次元形状データセットは14クラスにわたり406インスタンスを含み、逐次的生成、検証、部品サンプリングをサポートする。
• ロールバック機構は無限ループを効果的に防止し、生産的でないシーケンスを逆転させることで収束性を向上させた。
• 物理的安定性とグローバル形状ガイドラインの統合により、より現実的で物理的に妥当な3次元形状アセンブリが得られた。