[論文レビュー] Overfit Neural Networks as a Compact Shape Representation.

Thomas Davies, Derek Nowrouzezahrai+1 more|arXiv (Cornell University)|Sep 17, 2020

3D Shape Modeling and Analysis被引用数 21

ひとこと要約

この論文では、3次元形状をコンパクトで高精度な符号付き距離関数（SDF）として表現する、過学習させたニューラルネットワークであるNeural Implicitsを提案する。新しい損失関数、サンプリング戦略、および監督プロトコルを用いることで、同等のストレージコストにおいて三角形メッシュを上回る優れた精度を達成し、コンピュータグラフィックス分野における第一級の暗黙的形状表現としての強力な潜在能力を示している。

ABSTRACT

Neural networks have proven to be effective approximators of signed distance fields (SDFs) for solid 3D objects. While prior work has focused on the generalization power of such approximations, we instead explore their suitability as a compact - if purposefully overfit - SDF representation of individual shapes. Specifically, we ask whether neural networks can serve as first-class implicit shape representations in computer graphics. We call such overfit networks Neural Implicits. Similar to SDFs stored on a regular grid, Neural Implicits have fixed storage profiles and memory layout, but afford far greater accuracy. At equal storage cost, Neural Implicits consistently match or exceed the accuracy of irregularly-sampled triangle meshes. We achieve this with a combination of a novel loss function, sampling strategy and supervision protocol designed to facilitate robust shape overfitting. We demonstrate the flexibility of our representation on a variety of standard rendering and modelling tasks.

研究の動機と目的

• 過学習させたニューラルネットワークが個々の3次元形状のコンパクトで高忠実度の表現として機能できるかどうかを調査すること。
• 既存のニューラルSDF近似手法が一般化を重視し、形状固有の精度を犠牲にしているという限界を是正すること。
• グリッドベースのSDFの固定メモリレイアウトとニューラルネットワークの優れた精度を組み合わせた表現を開発すること。
• 特化したトレーニングプロトコル、損失関数、およびサンプリング戦略を通じて、形状の過学習を安定的に実現すること。
• 標準的なレンダリングおよびモデリングタスクにおける、提案手法の柔軟性とパフォーマンスを評価すること。

提案手法

• 特定の1つのターゲット形状への過学習を促進するように設計された新しい損失関数を提案し、真値SDFからの偏差を最小化する。
• 幾何的複雑性が高く、誤差が大きい領域に注目する特殊なサンプリング戦略を採用し、学習効率と精度を向上させる。
• サンプリングされた点において正確なSDFの監督を強制する監督プロトコルを導入し、距離関数の近似精度を保証する。
• バックプロパゲーションを用いて提案された損失を最小化するように、全結合ニューラルネットワークをクエリポイントの符号付き距離を予測するように訓練する。
• 通常のSDFグリッドと同様に、固定されたストレージプロファイルとメモリレイアウトを維持し、効率的なメモリアクセスとグラフィックスパイプラインへの統合を可能にする。
• 一般化を避け、1つの形状に対して高い精度を達成するようにネットワークを最適化し、過学習を欠陥ではなく特徴とみなす。

実験結果

リサーチクエスチョン

• RQ1 過学習させたニューラルネットワークは、個々の3次元形状のコンパクトで高精度な暗黙的表現として機能できるか？
• RQ2 同等のストレージコストにおいて、過学習させたニューラルネットワークの精度は不規則にサンプリングされた三角形メッシュと比べてどうか？
• RQ3 安定した形状の過学習を達成するために、損失関数、サンプリング、監督のどの要素が不可欠か？
• RQ4 Neural Implicitsは、標準的なレンダリングおよびモデリングワークフローで効果的に使用できるか？
• RQ5 Neural Implicitsの固定メモリレイアウトは、既存のグラフィックスシステムへの効率的な統合を可能にするか？

主な発見

• 同等のストレージコストにおいて、Neural Implicitsは3次元形状の表現において不規則にサンプリングされた三角形メッシュを常に同等または上回る精度を達成する。
• 提案された損失関数と監督プロトコルにより、ターゲット形状におけるSDF予測誤差が著しく低減され、安定した過学習が実現した。
• グリッドベースのSDFと同様に、固定されたストレージプロファイルとメモリレイアウトを維持し、効率的なメモリアクセスと統合が可能である。
• Neural Implicitsは、コンパクトさと規則性を保ちながら、三角形メッシュを上回る高い精度を達成した。
• この表現は、さまざまな標準的なレンダリングおよびモデリングタスクにおいて柔軟性と有効性を示した。
• 結果から、適切に制御された過学習は、形状固有の高精度な暗黙的表現を創出するための特徴として活用可能であることが確認された。