[論文レビュー] SCORES: Shape Composition with Recursive Substructure Priors

Chenyang Zhu, Kai Xu+3 more|arXiv (Cornell University)|Sep 14, 2018

3D Shape Modeling and AnalysisEngineering参考文献 27被引用数 16

ひとこと要約

SCORESは、再帰的自己符号化器を用い、部分構造の階層的プライオリティを学習することで、不適合な部品を再構成・追加・削除することにより、新しい一貫性のある3D形状を合成する再帰的ニューラルネットワークを提案する。各ノードにおける妥当性損失を用いた最適化により、部品構造を最適化し、学習例を超えた高品質で構造的に妥当な合成を可能にする。

ABSTRACT

We introduce SCORES, a recursive neural network for shape composition. Our network takes as input sets of parts from two or more source 3D shapes and a rough initial placement of the parts. It outputs an optimized part structure for the composed shape, leading to high-quality geometry construction. A unique feature of our composition network is that it is not merely learning how to connect parts. Our goal is to produce a coherent and plausible 3D shape, despite large incompatibilities among the input parts. The network may significantly alter the geometry and structure of the input parts and synthesize a novel shape structure based on the inputs, while adding or removing parts to minimize a structure plausibility loss. We design SCORES as a recursive autoencoder network. During encoding, the input parts are recursively grouped to generate a root code. During synthesis, the root code is decoded, recursively, to produce a new, coherent part assembly. Assembled shape structures may be novel, with little global resemblance to training exemplars, yet have plausible substructures. SCORES therefore learns a hierarchical substructure shape prior based on per-node losses. It is trained on structured shapes from ShapeNet, and is applied iteratively to reduce the plausibility loss.We showresults of shape composition from multiple sources over different categories of man-made shapes and compare with state-of-the-art alternatives, demonstrating that our network can significantly expand the range of composable shapes for assembly-based modeling.

研究の動機と目的

• 不適合な部品を単純に接続できない状況において、構造的に妥当な3D形状を合成する課題に対処すること。
• 単なる部品接続を超えて、顕著な幾何学的・構造的再構成を許容する形状合成を可能にすること。
• ShapeNetデータから階層的サブ構造プライオリティを学習し、新しい一貫性のある形状合成を可能にすること。
• 再帰的自己符号化器アーキテクチャを用いて、部品構造の反復的精錬を通じて妥当性損失を最小化すること。
• 部品の意味的属性や関係情報に依存せず、方向付きバウンディングボックス（OBB）と空間的関係にのみ依存すること。

提案手法

• SCORESは再帰的自己符号化器を採用：部品は下位から上位への集約により、サブ構造を階層的にルートコードに符号化する。
• 復号段階では、ルートコードが再帰的に展開され、新しい一貫性のある部品アセンブリが生成され、構造合成が可能になる。
• 各ノードにおける妥当性損失を用いて最適化をガイドし、すべてのレベルでサブ構造が幾何学的・トポロジカルに妥当であることを保証する。
• VQ-VAEに類似たコードブックを用いて、潜在表現を離散化し、ShapeNetのセグメンテッド3D形状を学習データとして使用する。
• 2段階の反復的処理（下位から上位への符号化と上位から下位への復号化）により、コードの精錬を伴う構造調整が行われる。
• 合成中に部品の追加・削除が可能であり、これにより不適合性を解消し、妥当性損失を最小化できる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、不適合な部品から構造的に妥当な3D形状を合成できるような階層的サブ構造プライオリティを学習できるか？
• RQ2 ネットワークは、学習データに存在しない新しい一貫性のある構造をどの程度正確に合成できるか？
• RQ3 各ノードの妥当性損失を伴う再帰的自己符号化器は、大きな幾何学的・トポロジカルな不適合性をどの程度効果的に解消できるか？
• RQ4 部品の意味的属性や明示的な関係情報が欠如している状況でも、OBBと空間的文脈にのみ依存して動作可能か？
• RQ5 サブ構造が学習データにまれな場合や、異種カテゴリの部品が統合された場合の失敗モードは何か？

主な発見

• SCORESは、学習例とほとんど類似しない新しい3D形状を合成するが、すべてのレベルで妥当なサブ構造を維持する。
• 特に創造的で伝統的でない組み合わせにおいて、最先端の代替手法と比較して、合成可能な形状の範囲を顕著に拡大する。
• 学習データにまれなサブ構造が存在する場合、ネットワークはより一般的なが正しい構成に置き換えることがある。
• 異種カテゴリの統合（例：椅子とテーブルの部品）は、潜在空間が一方のカテゴリに偏っている場合、妥当でない結果をもたらす。
• ネットワークは合成中に部品を追加・削除でき、例えば自転車のサドルを挿入したり、余分な椅子の背もたれを削除したりすることで、妥当性を向上できる。
• ラベルなしのOBBに対して頑健であり、部品の意味的属性を必要とせず、空間的文脈と学習されたサブ構造プライオリティに依存する。