[論文レビュー] NeuForm: Adaptive Overfitting for Neural Shape Editing

Connor Z. Lin, Niloy J. Mitra+3 more|arXiv (Cornell University)|Jul 18, 2022

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

NeuForm は、過適合化された単一形状表現と一般化可能な形状事前分布を適応的にブレンドすることで、高精度で意味論的に一貫性のある編集を可能にするニューラル形状編集フレームワークを提案する。局所的な幾何的信頼性に基づいて両モデルからのネットワーク重みを動的に重み付けすることにより、損傷のない領域では微細なディテールを保持し、編集済みまたは欠損領域では妥当に一般化する。再構築、編集、形状混合のタスクにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Neural representations are popular for representing shapes, as they can be learned form sensor data and used for data cleanup, model completion, shape editing, and shape synthesis. Current neural representations can be categorized as either overfitting to a single object instance, or representing a collection of objects. However, neither allows accurate editing of neural scene representations: on the one hand, methods that overfit objects achieve highly accurate reconstructions, but do not generalize to unseen object configurations and thus cannot support editing; on the other hand, methods that represent a family of objects with variations do generalize but produce only approximate reconstructions. We propose NEUFORM to combine the advantages of both overfitted and generalizable representations by adaptively using the one most appropriate for each shape region: the overfitted representation where reliable data is available, and the generalizable representation everywhere else. We achieve this with a carefully designed architecture and an approach that blends the network weights of the two representations, avoiding seams and other artifacts. We demonstrate edits that successfully reconfigure parts of human-designed shapes, such as chairs, tables, and lamps, while preserving semantic integrity and the accuracy of an overfitted shape representation. We compare with two state-of-the-art competitors and demonstrate clear improvements in terms of plausibility and fidelity of the resultant edits.

研究の動機と目的

• ニューラル形状表現における高精度再構築と一般化のトレードオフを解消すること。
• 意味論的認識を備え、アーティファクトのない形状編集を可能にし、微細な幾何的ディテールを保持するとともに、妥当な新しい構成を生成すること。
• 過適合モデルの長所（ディテールの正確さ）と一般化モデルの長所（未知の構成への一般化能力）を、アーティファクトのないシームレスな方法で統合すること。
• 局所的で空間的に適応可能な2つの異なるニューラル表現のブレンドを可能にするニューラルアーキテクチャを設計すること。

提案手法

• NeuForm は、一般化可能な形状ネットワークと過適合化された形状ネットワークの間で同じネットワーク構造とトレーニング履歴を共有するハイブリッドアーキテクチャを用いる。
• 局所的な幾何的信頼性とデータの可用性に基づいて、2つのネットワークの出力を適応的に組み合わせる学習可能なブレンドフィールドを導入する。
• 出力の補間ではなく、ネットワーク重みの補間によってブレンドを実現することで、滑らかな遷移を確保し、不連続性を回避する。
• 過適合ネットワークはトレーニング中にプルーニングされ、局所的な形状部の受容fieldに制限されるため、局所的なディテールの捉え込みが可能になる。
• 一般化ネットワークはグローバルに動作し、新しい構成や欠損領域に対しても妥当な幾何を提供する。
• 再構築、形状の一貫性、ディテール保持の目的を統合したマルチタスク損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 損傷のない領域では微細な幾何的ディテールを保持し、編集済みまたは欠損領域では妥当に一般化するニューラル形状表現を設計できるか？
• RQ2 過適合化と一般化可能なニューラル形状表現を、シームやギャップなどのアーティファクトを回避するように滑らかにブレンドできるか？
• RQ3 2つの異なるニューラル表現の適応的混合が、純粋に過適合または一般化モデルを上回る性能を形状編集で達成できるか？
• RQ4 部分ベースの編集や形状混合の過程で、提案されたブレンド機構が意味的整合性と表面ディテールをどの程度保持できるか？

主な発見

• NeuForm は、特にジョイント領域や新しい部品構成の周辺で、純粋に過適合または一般化モデルよりも顕著にアーティファクトが減少した優れた形状編集性能を達成する。
• 再構築タスクにおいて、NeuForm は過適合および一般化ベースラインを上回り、非ジョイント領域ではより高い忠実度を、ジョイント領域では一般化モデルよりも優れた幾何を達成する。
• 形状混合タスクにおいて、NeuForm は異なるソース形状の部品間のジョイント接続を滑らかで一貫性のあるものに生成し、Spaghetti や Coalesce で見られる幾何的歪みを回避する。
• 定量的評価では、NeuForm は妥当性と忠実度のバランスが最も良く、Spaghetti や Coalesce などの最先端手法よりも低い再構築誤差と高い知覚的品質を達成する。
• 複雑な形状（いす、テーブル、ランプなど）の編集においても、過適合領域では表面ディテールを効果的に保持し、一般化領域では妥当で一貫性のある幾何を生成する。