[論文レビュー] Neural Cages for Detail-Preserving 3D Deformations

Yifan Wang, Noam Aigerman+3 more|arXiv (Cornell University)|Dec 13, 2019

3D Shape Modeling and Analysis参考文献 34被引用数 4

ひとこと要約

本稿では、ターゲット構造に一致させる際の細かい幾何的ディテールを保持しつつ3D形状を変形する、学習可能なニューラルケージベースの変形フレームワークを提案する。深層ネットワークに微分可能ケージベース変形層を統合することで、密な対応やアノテート済みケージを必要とせず、非ペairedな3Dデータ上でエンドツーエンド学習が可能となり、細かいディテールの保持を実現した最新の形状変形と変形転送を達成した。

ABSTRACT

We propose a novel learnable representation for detail-preserving shape deformation. The goal of our method is to warp a source shape to match the general structure of a target shape, while preserving the surface details of the source. Our method extends a traditional cage-based deformation technique, where the source shape is enclosed by a coarse control mesh termed \emph{cage}, and translations prescribed on the cage vertices are interpolated to any point on the source mesh via special weight functions. The use of this sparse cage scaffolding enables preserving surface details regardless of the shape's intricacy and topology. Our key contribution is a novel neural network architecture for predicting deformations by controlling the cage. We incorporate a differentiable cage-based deformation module in our architecture, and train our network end-to-end. Our method can be trained with common collections of 3D models in an unsupervised fashion, without any cage-specific annotations. We demonstrate the utility of our method for synthesizing shape variations and deformation transfer.

研究の動機と目的

• 3D形状変形の過程で細かい幾何的ディテールを保持する課題に取り組むこと、特にトポロジーが異なったり構造が異なるターゲットに一致させる場合に焦点を当てる。
• 局所的な幾何のモデリングが不十分であるため、高周波成分が歪められたり破壊されたりするニューラルネットワークベースの変形手法の限界を克服すること。
• 密な対応や手動アノテーションに依存しないようにし、非ペアな3D形状コレクション上で教師なしでエンドツーエンド学習が可能な仕組みを提供すること。
• 未学習の形状やトポロジーに一般化可能な低次元で特徴を保持する変形空間を提供すること。
• スパースな対応やニュートラルポーズのみを用いて、形状変動の合成や新しい類似しないターゲット形状への変形転送といった実用的応用を可能にすること。

提案手法

• 微分可能ケージベース変形層を導入し、新規の微分可能な補間方式により頂点ウェイトを計算することで、変形プロセス全体にバックプロパゲーションが可能となる。
• ケージ幾何（学習可能なケージ予測ネットワークを介して）とケージ頂点の変位を同時に予測するニューラルネットワークアーキテクチャを提案する。
• 複数の損失関数を用いる：形状保持損失（Lshape）には点から面への距離（Lp2f）、法線の一貫性（Lnormal）、対称性（Lsymm）の項を含み、変形の一貫性損失（LMVC）を用いて滑らかで整合性のある変形を保証する。
• 密な対応やケージアノテーションを必要とせず、データセット内のランダムなソース・ターゲット形状ペアを用いて教師なしでエンドツーエンド学習を実行する。
• ケージ予測ネットワークの入力として、42頂点のテンプレートケージ（球体）を用い、各ソース形状に最適化することで、ソース形状をタイトに包囲する形状適応型ケージを生成する。
• 歪みを低減するために微分可能なラプラシアン正則化（Llap）を適用するが、主な形状保持はLp2fおよびLnormalによって実現される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、高精度でディテール保持型の3D形状変形を達成するために、ケージ幾何と変形パラメータの両方を効果的に予測できるか？
• RQ2 微分可能ケージベース変形層は、密な対応や手動アノテーションを一切必要とせず、エンドツーエンド学習を可能にするか？
• RQ3 本手法は、既存のニューラル変形ネットワークと比較して、細かい幾何的ディテールの保持と歪みの低減においてどの程度優れているか？
• RQ4 本手法は、トポロジーが異なったりノイズが多いなど、未学習のソース形状やターゲット形状にも一般化可能か、特にスパースな対応が僅かにしか与えられていない状況においては？
• RQ5 Lp2f、Lnormal、LMVCなどの損失項の異なる組み合わせが、変形品質やディテール保持に与える影響は何か？

主な発見

• ShapeNetデータセットにおいて、本手法は1.44 (×10²) のチャムファーディスタンスを達成し、アライメント精度においてベースライン手法を顕著に上回りつつ、細かいディテールを保持した。
• アブレーションスタディの結果、形状保持損失にLp2fとLnormalを組み込むことで歪みが低減され、アライメント精度が向上し、LlapでさえもLp2fに劣る性能を示した（Llapは先行研究でも使用されているが）。
• ソース形状固有のケージを学習するケージ予測ネットワーク（Nc）が最良の性能（CD: 3.06 ×10²、コタンジェントラプラシアン: 10.45 ×10³）を発揮し、固定された球形ケージや全訓練形状に共通の最適化ケージよりも優れた性能を示した。
• 本手法は、ソースとターゲット間のスパースな対応のみを用いても、新しいヒューマノイドキャラクタ（例：SCAPES、X-Bot）への変形転送に成功し、優れた一般化性能を示した。
• LMVC損失は変形の一貫性を効果的に制御する：重みを1から10に増加させると、チャムファーディスタンスは1.44から2.65に上昇するが、歪みは低減され、アライメントと滑らかさのトレードオフが明確に示された。
• 定性的な比較と低コストのコタンジェントラプラシアン値から、本手法は従来のニューラル変形手法よりも、鋭いエッジや細い構造といった顕著な幾何的特徴をより良く保持していることが示された。