[論文レビュー] Neural Shape Deformation Priors

Jiapeng Tang, Lev Markhasin+3 more|arXiv (Cornell University)|Oct 11, 2022

3D Shape Modeling and Analysis被引用数 13

ひとこと要約

この論文では、トランスフォーマーに基づくネットワークを用いて局所的で幾何学に配慮したフィールドの合成として変形をモデル化することで、スパースなユーザー入力によるハンドル移動から自然で連続的なメッシュ変形を予測する学習ベースの手法、Neural Shape Deformation Priors を提案する。正準化とアテンション駆動型の局所潜在コード集約を活用することで、最適化ベースおよび従来のニューラル手法に比べ優れた汎化性能と精度を達成する。

ABSTRACT

We present Neural Shape Deformation Priors, a novel method for shape manipulation that predicts mesh deformations of non-rigid objects from user-provided handle movements. State-of-the-art methods cast this problem as an optimization task, where the input source mesh is iteratively deformed to minimize an objective function according to hand-crafted regularizers such as ARAP. In this work, we learn the deformation behavior based on the underlying geometric properties of a shape, while leveraging a large-scale dataset containing a diverse set of non-rigid deformations. Specifically, given a source mesh and desired target locations of handles that describe the partial surface deformation, we predict a continuous deformation field that is defined in 3D space to describe the space deformation. To this end, we introduce transformer-based deformation networks that represent a shape deformation as a composition of local surface deformations. It learns a set of local latent codes anchored in 3D space, from which we can learn a set of continuous deformation functions for local surfaces. Our method can be applied to challenging deformations and generalizes well to unseen deformations. We validate our approach in experiments using the DeformingThing4D dataset, and compare to both classic optimization-based and recent neural network-based methods.

研究の動機と目的

• スパースなハンドル入力が多数の可能な変形を生じさせるという、ユーザーがガイドする 3D 形状変形の不適切な定式化に対処する。
• すべての領域を均一に扱う手作業による事前知識（例：ARAP）の限界を克服し、非剛体な物体で現実的でない変形を生じさせない。
• 正準入力幾何形状を必要とせず、トポロジー、頂点数、任意のポーズが異なるメッシュに対しても堅牢な形状操作を可能にする。
• データ駆動型で幾何学に配慮した変形事前知識を用いることで、未観測の変形および分布外の形状への汎化を向上させる。
• 無限の頂点数と非連結な構成をサポートする連続的変形フィールド表現を開発し、高精細な編集を可能にする。

提案手法

• 入力メッシュの解像度にかかわらず滑らかで高解像度の出力を可能にするために、近接表面領域に定義された連続的 3D 変形フィールドとして形状変形を表現する。
• 2段階の正準化プロセスを用いる：まず、逆変形フィールドを介して任意ポーズのソースメッシュを正準ポーズに変換し、次にそれらをターゲットポーズに変形する。
• 入力点群を表面幾何と部分的変形フローとともにエンコードし、ベクトルアテンションブロックを用いてスパースな局所的潜在コードとグローバル特徴ベクトルを生成するトランスフォーマーに基づく変形ネットワーク（TD-Nets）を導入する。
• 特徴類似度に基づいて隣接する局所的潜在コードをアテンションドコーダーが集約し、各空間的点の変位ベクトルを予測する。
• 集約された特徴から最終的な頂点変位を予測するために多層パーセプトロン（MLP）を用い、エンドツーエンド微分可能な変形予測を実現する。
• オブジェクトクラスにわたる多様で現実的な形状変化をカバーする大規模な非剛体変形データセット（DeformingThing4D）を活用し、多様な形状変化におけるモデルの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、未観測の非剛体変形、特に訓練分布外の変形に対しても良好に汎化する変形事前知識を学習できるか？
• RQ2 変形を局所的で幾何学依存のフィールドの合成としてモデル化することで、グローバルな潜在表現と比較して、どのように汎化性能が向上するか？
• RQ3 任意ポーズのソースメッシュを処理する際、正準化が性能と耐障害性にどの程度向上効果をもたらすか？
• RQ4 アテンションベースの特徴照会が、距離に基づく補間と比較して、正確な変位予測のための関連する変形記述子の選択に優れているか？
• RQ5 困難な変形に対して、古典的な最適化ベースの手法（例：ARAP）および最近のニューラルベースライン（例：ShapeFlow、NFGP）と比較して、本手法は正確性と現実性においてどの程度優れているか？

主な発見

• 提案手法は、DeformingThing4D-Animals データセットにおいて、ARAP や他のニューラルベースラインと比較して、定量的指標（例：ℓ₂ 頂点誤差）および定性的な現実性の両面で優れた性能を示した。
• アテンションベースの特徴照会機構は、距離に基づく補間と比較して ℓ₂ 頂点誤差を顕著に低減し、文脈に配慮した記述子選択の重要性を示した。
• 正準化は汎化性能を向上させる：正準化を用いないで学習したモデルは、特に分布外のポーズにおいて顕著に高い表面誤差を示した。
• 本手法は、未観測のアイデンティティや極端な変形に対しても良好に汎化することができ、学習された幾何学に配慮した事前知識による強いインダクティブバイアスを示した。
• アブレーション実験では、ポイントトランスフォーマー・エンコーダーを PointNet++ に置き換えると性能が低下し、提案されたアテンションベースのアーキテクチャの優位性を確認した。
• 本モデルは、非連結な構成や異なる頂点数を持つメッシュに対しても高精細な変形を達成でき、変形フィールド表現の連続性を検証した。