[論文レビュー] A Deep Signed Directional Distance Function for Object Shape Representation

Ehsan Zobeidi, Nikolay Atanasov|arXiv (Cornell University)|Jul 23, 2021

Advanced Vision and Imaging被引用数 6

ひとこと要約

本論文は、任意の3次元位置および視線方向からの物体表面までの距離をモデル化する、暗黙的3次元形状表現のための深層符号付き方向距離関数（SDDF）を提案する。ネットワーク設計時に構造的勾配制約を課すことにより、3次元の教師信号を一切用いずに、深度またはLiDARデータのみで学習可能であり、カテゴリレベルの形状モデリングが可能で、潜在変数を用いて実現され、最小限の後処理で高精度な新規ビュー再構築と形状補完を達成する。

ABSTRACT

Neural networks that map 3D coordinates to signed distance function (SDF) or occupancy values have enabled high-fidelity implicit representations of object shape. This paper develops a new shape model that allows synthesizing novel distance views by optimizing a continuous signed directional distance function (SDDF). Similar to deep SDF models, our SDDF formulation can represent whole categories of shapes and complete or interpolate across shapes from partial input data. Unlike an SDF, which measures distance to the nearest surface in any direction, an SDDF measures distance in a given direction. This allows training an SDDF model without 3D shape supervision, using only distance measurements, readily available from depth camera or Lidar sensors. Our model also removes post-processing steps like surface extraction or rendering by directly predicting distance at arbitrary locations and viewing directions. Unlike deep view-synthesis techniques, such as Neural Radiance Fields, which train high-capacity black-box models, our model encodes by construction the property that SDDF values decrease linearly along the viewing direction. This structure constraint not only results in dimensionality reduction but also provides analytical confidence about the accuracy of SDDF predictions, regardless of the distance to the object surface.

研究の動機と目的

• 新規距離ビュー再構築を可能にする連続的かつ微分可能な暗黙的形状表現の開発。
• 3次元の教師信号を排除し、深度またはLiDAR測定値のみで学習することによる、3次元の教師信号の不要化。
• SDDF値が視線方向に線形に減少するという幾何的制約を、ネットワークアーキテクチャそのものに組み込むことによる、神経ネットワークアーキテクチャの設計。
• 学習された潜在変数空間を用いたカテゴリレベルの形状モデリングおよび補間の実現。
• スパース観測からのマルチビュー距離データを合成するための新規なデータ拡張技術によるデータ要件の低減。

提案手法

• 点pから単位ベクトルηに沿った符号付き距離を測定する連続関数h(p, η)として符号付き方向距離関数（SDDF）を提案。
• SDDF値が視線方向に線形に減少するように保証する微分方程式を導出し、ネットワークアーキテクチャに構造的に組み込む。
• SDDF勾配制約を強制するように変更された損失関数を備えたニューラルネットワークを設計し、表面抽出やレンダリングステップを必要とせずに安定した学習を可能にする。
• 球面投影と凸包近似を用いたデータ拡張技術を導入し、1つの点群のみから新たな視点における距離測定値を合成可能にする。
• カテゴリレベルのオートデコーダーとインスタンスレベルの潜在変数をSDDFモデルに拡張し、物体カテゴリをまたがる形状の補間と補完を可能にする。
• 表面抽出やDifferentiable Renderingを必要とせず、深度センサーからの距離測定値のみを用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 スパースな深度測定値から3次元の教師信号を一切用いずに、連続的かつマルチビューに一貫性のあるSDDF表現をニューラルネットワークが学習可能か？
• RQ2 SDDF値が視線方向に線形に減少するという構造的制約をニューラルネットワークに組み込むことで、一般化性能の向上とデータ依存性の低減が可能か？
• RQ3 SDDFモデルはカテゴリレベルの形状表現をサポートでき、部分的観測からの未学習インスタンスの補間と補完を可能にするか？
• RQ4 SDDFモデルは、入力がスパースな場合に、従来の暗黙的および明示的形状表現と比較して、再構築精度と頑健性において優れているか？
• RQ5 SDDFモデルは表面抽出やレンダリングを経ずに、任意の位置と方向における新規距離ビューを直接生成可能か？

主な発見

• 提案されたSDDFモデルは、単一の距離画像または点群観測からの高精度な形状再構築を達成し、GRNet、AtlasNet、PCNなどの最先端手法と同等またはそれ以上の定量的性能を示す。
• 潜在形状空間における滑らかで意味のある線形補間が可能であり、ShapeNet上での定性的な結果により、物体インスタンス間の有効な中間形状が生成されることを実証した。
• テスト時における潜在変数最適化による形状補完は、1000本の有限および1000本の無限の光線からの入力のみで高品質な再構築を達成し、IGRや他のベースラインを上回る再構築精度を示した。
• 構造的勾配制約により、入力次元が5から4に効果的に削減され、学習効率が向上し、表面からの距離にかかわらず正確な予測が可能になった。
• データ拡張技術により、小規模なデータセットからマルチビューに一貫性のあるSDDFモデルを学習可能となり、大規模なマルチビュー深度データへの依存が低減された。
• 任意の位置および方向における距離予測を直接行えるため、表面抽出やレンダリングなどの後処理ステップが不要となった。