[論文レビュー] MetaSDF: Meta-learning Signed Distance Functions

Vincent Sitzmann, Eric R. Chan+3 more|arXiv (Cornell University)|Jun 17, 2020

3D Shape Modeling and Analysis参考文献 4被引用数 91

ひとこと要約

MetaSDF はニューラル implicit SDF に対する学習 priors を勾配ベースのメタ学習として扱い、グリッドベースのエンコーダや潜在空間のオートデコーダなしに、新しい形状への高速なテスト時適応を可能にします。

ABSTRACT

Neural implicit shape representations are an emerging paradigm that offers many potential benefits over conventional discrete representations, including memory efficiency at a high spatial resolution. Generalizing across shapes with such neural implicit representations amounts to learning priors over the respective function space and enables geometry reconstruction from partial or noisy observations. Existing generalization methods rely on conditioning a neural network on a low-dimensional latent code that is either regressed by an encoder or jointly optimized in the auto-decoder framework. Here, we formalize learning of a shape space as a meta-learning problem and leverage gradient-based meta-learning algorithms to solve this task. We demonstrate that this approach performs on par with auto-decoder based approaches while being an order of magnitude faster at test-time inference. We further demonstrate that the proposed gradient-based method outperforms encoder-decoder based methods that leverage pooling-based set encoders.

研究の動機と目的

• ニューラル implicit SDF の形状空間の学習をメタラーニング問題として形式化する。
• 部分的な観測から新しい形状への高速なテスト時適応を実現する。
• 規則的なグリッドや低次元潜在空間への依存を避けつつ、一般化性能を向上させる。

提案手法

• 各形状 i をその SDF を近似するためのニューラル SDF Phi_i によって表現する。
• Phi_i をメタネットワークの条件付けと内部ループの専門化を通じてパラメータ化する。
• 内側ループの更新 phi_i^j が context X_i^{train} に適応し、外側ループの更新 theta が X_i^{test} を最小化するように、勾配ベースのメタ学習（MAML風）を用いる。
• phi_i^0 = theta で初期化し、k 回の inner update を行う: phi_i^{j+1} = phi_i^j - alpha ⊙ ∇_{phi_i^j} L_train、L_train は観測値 (x,s) から計算される。
• outer-loop の損失 L_test を inner-loop を通じて逆伝播し theta と各パラメータ学習率 alpha を更新する。
• オートデコーダーに対する利点: テスト時推論の高速化と厳密な潜在空間仮定が不要; poolingベースのセットエンコーダよりも性能を発揮。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのメタ学習は、限られたコンテキスト観測からニューラル implicit SDF の高速で柔軟な特化を提供できるか。
• RQ2 2Dおよび3Dの形状一般化タスクにおいて、Encoderベース、Hypernetworkベース、および Auto-decoder アプローチと比べて MetaSDF はどうか。
• RQ3 META-SDF は grid-based inputs や固定された潜在コードなしでゼロレベルセット点からの再構成をサポートするか。
• RQ4 学習された形状空間は外部分布外の形状や変換に対してロバストか。
• RQ5 既存手法と比べた場合の推論速度と再構成品質のトレードオフは何か。

主な発見

• MetaSDF は推論時に自動デコーダと同等の性能を保ちつつ、推論時には約1桁高速。
• MetaSDF は2Dおよび3Dの実験の両方で pooling ベースのセットエンコーダを上回り、低次元の潜在空間を必要としない。
• MNIST ベースの 2D SDF では、MetaSDF は代替法よりも低い 1-norm 誤差を達成し、特に zero-level-set 観測を用いる場合に顕著。
• ShapeNet 3D 実験では、MetaSDF は DeepSDF と同等の mean/median Chamfer 距離を提供しつつ、推論時間を ~8s から ~0.4s に削減。
• MetaSDF は zero-level-set 点に条件づけられた 3D 形状の再構成が可能で、外れた分布の形状に対する一般化性能が向上し、いくつかの out-of-distribution テストで誤差がより小さい。