[論文レビュー] Spline Positional Encoding for Learning 3D Implicit Signed Distance Fields

Peng‐Shuai Wang, Yang Liu+2 more|arXiv (Cornell University)|Jun 3, 2021

3D Shape Modeling and Analysis参考文献 30被引用数 5

ひとこと要約

本稿では、3次元座標をトレーニング可能なBスプライン関数を用いて高次元空間にマップする、学習可能な位置エンコーディングであるSpline Positional Encoding (Spe) を提案する。この手法は、非構造化点群から細粒度な3次元符号付き距離関数（SDF）を再構築する際のMLPの能力を顕著に向上させる。Speはフォーリエ位置エンコーディングやSIRENを上回るSDF再構築品質を達成し、画像再構築タスクに対しても良好な一般化性能を示す。

ABSTRACT

Multilayer perceptrons (MLPs) have been successfully used to represent 3D shapes implicitly and compactly, by mapping 3D coordinates to the corresponding signed distance values or occupancy values. In this paper, we propose a novel positional encoding scheme, called Spline Positional Encoding, to map the input coordinates to a high dimensional space before passing them to MLPs, for helping to recover 3D signed distance fields with fine-scale geometric details from unorganized 3D point clouds. We verified the superiority of our approach over other positional encoding schemes on tasks of 3D shape reconstruction from input point clouds and shape space learning. The efficacy of our approach extended to image reconstruction is also demonstrated and evaluated.

研究の動機と目的

• 非構造化点群上で学習される際の、座標ベースMLPが高周波数幾何的詳細を捉える能力の制限を解決すること。
• ReLU活性化を用いるMLPに見られるスペクトルバイアスを克服し、低周波数の適合は強いものの高周波数詳細の回復が困難な状況を改善すること。
• 固定された正弦関数（例：フォーリエ位置エンコーディング）よりも表現力が高く、学習可能な位置エンコーディングを設計し、MLPの表現能力を向上させること。
• 階層的スプライン精錬に基づくマルチスケール学習戦略を用いて、SDFのロバストかつ段階的な学習を可能にすること。
• 提案手法の一般化可能性を、3次元形状再構築を越えて2次元画像再構築タスクなど、他の連続的表現タスクへも適用可能であることを示すこと。

提案手法

• トレーニング可能なBスプライン基底関数と一様なノットを用いて、入力の3次元座標を高次元空間に射影するSpline Positional Encoding (Spe) を提案する。
• 位置エンコーディングを、重みがトレーニング可能なパラメータであるBスプライン基底関数の重み付き和として定義し、適応的で表現力のある特徴マッピングを可能にする。
• スプライン解像度を段階的に精錬するマルチスケール学習戦略を用い、ネットワークがより良い局所最適解に収束し、段階的に細かいディテールを回復できるようにする。
• MLPの前処理層としてSpeを統合し、固定エンコーディング（例：フォーリエや正弦ベース）に代えて使用することで、複雑で高周波数のSDFをモデル化する能力を向上させる。
• SDF値に対するL1損失とEikonal正則化（|∇F(x)| ≈ 1 を満たすように）を組み合わせてMLPを学習させ、出力が有効なSDFであることを保証する。
• 2次元座標にSpeを適用することで、画像再構築への応用を拡張し、評価指標としてL2損失とPSNRを用いる。

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能なBスプラインに基づく位置エンコーディングは、固定された正弦関数（例：フォーリエ）エンコーディングを上回り、生の点群から3次元SDFの高周波数ディテールを再構築できるか？
• RQ2 提案されたSpline Positional Encoding (Spe) は、単一形状学習および形状空間学習の両状況において、MLPの一般化性とロバスト性を向上させるか？
• RQ3 階層的スプライン精錬に基づくマルチスケール学習戦略は、収束性と再構築品質にどのように影響を与えるか？
• RQ4 Speは3次元SDF学習を越えて、2次元画像再構築などの他の連続的表現タスクへも効果的に一般化可能か？
• RQ5 画像およびSDF再構築タスクにおいて、PSNRと視覚的忠実度の観点から、SpeはSIRENやフォーリエ位置エンコーディングを上回る性能を示すか？

主な発見

• D-FaustデータセットのBimba形状において、Speは1.18の最良のチェンバーディスタンスとSDF MAEを達成し、IGR（1.41）、SIREN（1.39）、FPE（1.44）を上回った。
• SDF回帰タスクにおいて、SpeはBimbaで最小のチェンバーディスタンス（1.18）を達成し、全テスト形状において一貫して上位の手法にランクインした。
• 画像再構築において、SpeはM=32の投影方向を用いて、テキスト画像でPSNR 40.4、自然画像で33.6を達成し、SIREN（35.6および31.1）とFPE（33.7および30.8）を上回った。
• 視覚的比較では、SpeはFPE（ノイズパターンを示す）やSIREN（ぼやけて見える）よりもシャープな結果を生成し、真値に忠実に近い再構築を実現した。
• マルチスケール学習戦略により、段階的な精錬が可能となり、収束性が向上し、SDFにおける細かい幾何的ディテールの回復が促進された。
• アブレーションスタディにより、固定エンコーディングと比較して、スプライン重みの学習可能特性が、特に高周波数ディテール回復においてモデル化能力を顕著に向上させることを確認した。