[論文レビュー] On the Effectiveness of Weight-Encoded Neural Implicit 3D Shapes

Thomas Davies, Derek Nowrouzezahrai+1 more|arXiv (Cornell University)|Sep 17, 2020

3D Shape Modeling and Analysis参考文献 24被引用数 41

ひとこと要約

この論文は重みエンコード型ニューラル含意を第一級の3D形状表現として提案し、高表面精度、堅牢な性能、コンパクトなメモリ使用を達成でき、潜在エンコード手法を上回ることを示します。8層のコンパクトなネットワーク、重要性サンプリングを用いた積分損失を導入し、ポリゴンメッシュの高い圧縮と高速レンダリングを実証します。

ABSTRACT

A neural implicit outputs a number indicating whether the given query point in space is inside, outside, or on a surface. Many prior works have focused on _latent-encoded_ neural implicits, where a latent vector encoding of a specific shape is also fed as input. While affording latent-space interpolation, this comes at the cost of reconstruction accuracy for any _single_ shape. Training a specific network for each 3D shape, a _weight-encoded_ neural implicit may forgo the latent vector and focus reconstruction accuracy on the details of a single shape. While previously considered as an intermediary representation for 3D scanning tasks or as a toy-problem leading up to latent-encoding tasks, weight-encoded neural implicits have not yet been taken seriously as a 3D shape representation. In this paper, we establish that weight-encoded neural implicits meet the criteria of a first-class 3D shape representation. We introduce a suite of technical contributions to improve reconstruction accuracy, convergence, and robustness when learning the signed distance field induced by a polygonal mesh -- the _de facto_ standard representation. Viewed as a lossy compression, our conversion outperforms standard techniques from geometry processing. Compared to previous latent- and weight-encoded neural implicits we demonstrate superior robustness, scalability, and performance.

研究の動機と目的

• weight-encoded neural implicits が第一級の3D形状表現として機能し得ることを示す。
• meshes を weight-encoded neural implicits に高精度で変換するためのアーキテクチャと学習 regime を開発する。
• 従来のメッシュおよびグリッドベースの SDF 表現と比較して圧縮と速度の利点を示す。
• 現実世界データセット（例：Thingi10k）での堅牢性とスケーラビリティを評価する。

提案手法

• 単一形状を重みエンコードされた含意としてエンコードするために、潜在ベクトルを用いず、層数8層・隠れ層サイズ32のフィードフォワードネットワークを使用する。
• 占有ではなくメッシュ表面へ回帰する符号付き距離場（SDF）を直接グラフィックス用途のために推定する。
• 損失を空間全体の積分として定義し、指数加重 w(x)=exp(-β|gS(x)|) を用いて近サーフェスのサンプリングを導入する。
• 積分損失を近似するため、重み w に比例する分布からサンプルを抽出して重要度サンプリングを適用する。
• 収束時間のために、単純で効率的な CUDA ベースのパイプラインと動的バッチ処理を用いた球追跡でレンダリングを行う。
• 実世界のメッシュに対して堅牢性を示すため、 robust insideness テスト（一般化された winding numbers）と必要に応じた unsigned-distance 処理を用いる。

実験結果

リサーチクエスチョン

• RQ1 重みエンコード型ニューラル含意は latent code なしで単一の3D形状を第一級表現として忠実に表現できるか。
• RQ2 重みエンコード表現は精度・堅牢性・メモリ使用の点で潜在コード表現およびグリッドベースの SDF 表現と比較してどうか。
• RQ3 大規模現実世界メッシュデータセットの堅牢な再構成とスケーラブルな処理を可能にするアーキテクチャと学習戦略とは。
• RQ4 大規模なメッシュデータセット（例：Thingi10k）を現実的な時間とストレージ予算内で weight-encoded implicits に変換することは可能か。
• RQ5 グラフィックスパイプラインのための weight-encoded implicits の実用的なレンダリング・操作上の利点（例：CSG）は何か。

主な発見

• weight-encoded neural implicit は潜在ベクトルなしで単一形状をエンコードでき、θ によってパラメータ化され、fθ の零集合として3D表面を生み出す。
• 8層・32ニューロンのネットワーク（7553 ウェイト; ~59 kB）は、再構成精度・レンダリング速度・メモリ使用の間で好適なバランスを達成する。
• 提案された重要度サンプリングを伴う積分損失は、従来のサンプリング手法（例：Park et al. 2019 の Thingi10k における表面誤差約5%改善）より収束と表面精度を改善する。
• このアプローチは Thingi10k データセットを 38.85 GB から 590 MB に圧縮する（1:66 の圧縮）；DeepSDF は 7 MB に圧縮されるが実世界の自由度の高いデータで品質が低下する。
• 512×512 でのレンダリングは P100 上で ~34 Hz のフレームレートを実現し、単一の implicit に対して球追跡と CUDA ベースの可視化を用いる。
• 重みエンコード型含意は、均一グリッドやダウンサンプリング済みメッシュと比較して、同程度のメモリ予算でより良い表面詳細忠実度と滑らかな再構成を示す。さらに SIMD 評価と並列レンダリングを効率的にサポートする。