[論文レビュー] GeoCode: Interpretable Shape Programs

Ofek Pearl, Itai Lang+3 more|arXiv (Cornell University)|Dec 19, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

GeoCodeは、点群やスケッチを解釈可能なパラメータ空間にマップする手続き的3D形状合成フレームワークを導入し、構造的に妥当で高品質なメッシュを一貫して生成する直感的で高レベルの編集を可能にする。本手法は、ノイズのある点群や自由曲線スケッチを含む多様な入力に対して優れた再構成精度と耐障害性を達成しており、物理的妥当性および形状補間をサポートする。

ABSTRACT

The task of crafting procedural programs capable of generating structurally valid 3D shapes easily and intuitively remains an elusive goal in computer vision and graphics. Within the graphics community, generating procedural 3D models has shifted to using node graph systems. They allow the artist to create complex shapes and animations through visual programming. Being a high-level design tool, they made procedural 3D modeling more accessible. However, crafting those node graphs demands expertise and training. We present GeoCode, a novel framework designed to extend an existing node graph system and significantly lower the bar for the creation of new procedural 3D shape programs. Our approach meticulously balances expressiveness and generalization for part-based shapes. We propose a curated set of new geometric building blocks that are expressive and reusable across domains. We showcase three innovative and expressive programs developed through our technique and geometric building blocks. Our programs enforce intricate rules, empowering users to execute intuitive high-level parameter edits that seamlessly propagate throughout the entire shape at a lower level while maintaining its validity. To evaluate the user-friendliness of our geometric building blocks among non-experts, we conducted a user study that demonstrates their ease of use and highlights their applicability across diverse domains. Empirical evidence shows the superior accuracy of GeoCode in inferring and recovering 3D shapes compared to an existing competitor. Furthermore, our method demonstrates superior expressiveness compared to alternatives that utilize coarse primitives. Notably, we illustrate the ability to execute controllable local and global shape manipulations.

研究の動機と目的

• 構造的妥当性とメッシュ品質を維持しながら、直感的で高レベルの編集を可能にする3D形状表現の構築に取り組むこと。
• 神経陰性表現（しばしば直感的でない）と手続き的手法（しばしば粗い）の間のギャップを埋めるために、解釈可能なパラメータと高精細メッシュ生成を組み合わせること。
• 点群、スケッチ、簡略化またはノイズの多い幾何形状を含む多様な入力からの正確で耐障害性の高い形状再構成を可能にすること。
• 形状の混合、補間、物理シミュレーションなどの高度な編集操作をサポートし、一貫性と妥当性を保証すること。
• 実世界のスキャンや画像からのスケッチなどの分布外入力に対しても一般化可能なシステムを構築すること。

提案手法

• 構造的妥当性を保証するための幾何学的・トポロジカルルールを課した、解釈可能なパラメータから高品質な3Dメッシュを生成する新しい手続き的プログラムを設計する。
• 入力の点群やスケッチを人間が解釈可能なパラメータ空間にマップするためのニューラルネットワークエンコーダを採用し、離散的（例：レール数）、二値的（例：アームレスト）、連続的（例：脚の太さ）な属性を捉える。
• パラメータ空間には意味的パーツラベルが含まれており、生成された形状間で一貫したセグメンテーションを可能にする。
• 手続き的プログラムは、高レベルのパラメータからの変更を低レベルの幾何操作に伝播させながら、形状の整合性を保ちつつ最終的なメッシュを構築する。
• 解釈可能なパラメータ空間をスイープして生成された大規模な合成データセット上で学習することで、実世界の入力に対しても一般化を可能にする。
• 編集はパラメータを直接変更することで実行され、変更内容は手続き的パイプラインを介して自動的にメッシュに反映される。

実験結果

リサーチクエスチョン

• RQ1 解釈可能なパラメータ空間から高精細な3Dメッシュを生成する手続き的プログラムを設計でき、構造的妥当性を維持できるか？
• RQ2 ニューラルネットワークが点群やスケッチといった多様な入力から解釈可能なパラメータ表現を正確に推定できるか？
• RQ3 ノイズ、簡略化、分布外のスケッチなどの入力変動に対して、システムの耐障害性はどの程度高いか？
• RQ4 パラメータ空間が3D形状の直感的編集、混合、補間をどの程度効果的にサポートできるか？
• RQ5 生成された形状は物理的に妥当であり、標準的な3Dモデリングパイプラインでネイティブに利用可能か？

主な発見

• GeoCodeは、点群入力では平均0.00041、スケッチ入力では平均0.00117のチャームファーディスタンスを達成し、形状再構成において顕著に低い値を示した。簡略化されたメッシュ（約2K面）を対象として評価した。
• メッシュの簡略化を10倍（約25Kから約2K面）しても再構成品質の低下はわずかに抑えられ、入力詳細の低下に対する強い耐障害性を示した。
• 極端な簡略化（100倍、約120面）では、点群入力でチャームファーディスタンスが0.0028に、スケッチ入力で0.00517に上昇したが、これは極端な簡略化に対して中程度の感受性を示している。
• 実世界スキャン、ノイズのある点群、画像からのスケッチといった分布外入力に対しても、良好な一般化性能を示し、構造的妥当性と解釈可能性を維持した。
• 物理的妥当性は、バケツや椅子といった生成物が平らな床の上から落下させた際に安定に保たれる物理シミュレーションにより実証された。
• 形状の混合と補間は効果的かつ一貫的であった：異なる形状のパラメータを組み合わせることで、構造的に妥当で物理的に妥当なハイブリッド形状が得られ、パーツの転送が混合されたインスタンス間でも保持された。