[論文レビュー] Deep Implicit Moving Least-Squares Functions for 3D Reconstruction

Shilin Liu, Haoxiang Guo+4 more|arXiv (Cornell University)|Mar 23, 2021

3D Shape Modeling and Analysis参考文献 53被引用数 8

ひとこと要約

本稿では、高品質な3D再構成を実現するため、点集合と暗黙的移動最小二乗法（IMLS）表面を組み合わせた深層学習フレームワークであるIMLSNetsを提案する。オクトリー構造のデコーダーを用いて向き付けられたIMLS点を予測することで、滑らかで連続的な表面を高速に生成し、ベンチマークデータセットにおいて再構成品質と効率性の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Point set is a flexible and lightweight representation widely used for 3D deep learning. However, their discrete nature prevents them from representing continuous and fine geometry, posing a major issue for learning-based shape generation. In this work, we turn the discrete point sets into smooth surfaces by introducing the well-known implicit moving least-squares (IMLS) surface formulation, which naturally defines locally implicit functions on point sets. We incorporate IMLS surface generation into deep neural networks for inheriting both the flexibility of point sets and the high quality of implicit surfaces. Our IMLSNet predicts an octree structure as a scaffold for generating MLS points where needed and characterizes shape geometry with learned local priors. Furthermore, our implicit function evaluation is independent of the neural network once the MLS points are predicted, thus enabling fast runtime evaluation. Our experiments on 3D object reconstruction demonstrate that IMLSNets outperform state-of-the-art learning-based methods in terms of reconstruction quality and computational efficiency. Extensive ablation tests also validate our network design and loss functions.

研究の動機と目的

• 学習ベースの3D形状生成における幾何的忠実度と計算効率のトレードオフを解消すること。
• 学習ベースの3D再構成における点集合の離散的・粗い性質を克服しつつ、グローバルな暗黙関数評価の高コストを回避すること。
• 暗黙的移動最小二乗法（IMLS）表面を深層ニューラルネットワークに統合し、学習された点集合から滑らかで連続的な表面を生成可能にする。
• IMLS点の予測後に表面評価をネットワークから分離することで、再計算なしに各点ごとの評価が可能な高速なランタイム評価を実現すること。
• オクトリーを用いた学習可能で適応的な点生成戦略を設計し、必要な箇所にのみIMLS点を配置することで、一般化性能と効率性を向上させること。

提案手法

• 可変数の向き付けられた点を予測するオクトリーベースのデコーダーを用い、IMLS表面構築のための骨格とする。
• 暗黙的移動最小二乗法（IMLS）定式化を適用し、3次元点から符号付き距離への写像である局所的暗黙関数を定義することで、滑らかなゼロレベルセット表面を実現する。
• 点の分布と表面品質を正則化するため、複数の損失成分（表面勾配、点間反発、投影の滑らかさ、半径の滑らかさ）を用いてネットワークを訓練する。
• 監視と評価をオクトリーのノード位置でのみ行い、IMLS表面の局所的性質を活かして計算コストを低減する。
• IMLS点の予測後に表面評価をネットワークから分離することで、再びネットワークを走らせることなく、各点ごとの評価が高速に可能となる。
• 各点ごとに適応的IMLS半径を用いることで、粗い骨格でも表面近似を向上させ、固定半径ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的移動最小二乗法（IMLS）表面を深層学習フレームワークに効果的に統合できるか。これにより、点集合の柔軟性と暗黙関数の滑らかさを併せ持てるか。
• RQ2 IMLS点の予測にオクトリー構造の骨格を用いることで、固定点または密な予測手法と比較して、一般化性能と効率性が向上するか。
• RQ3 オクトリーノードにおける局所的監視が、密集した3次元ドメインサンプリングに代わって、訓練コストを削減しつつも高い再構成品質を維持できるか。
• RQ4 異なる損失成分（勾配、反発、滑らかさ）が、表面の細部と幾何的正確性にどのように寄与するか。
• RQ5 適応的IMLS半径選択は、粗いまたは不規則にサンプリングされた入力において、固定半径と比較して再構成品質を向上させるか。

主な発見

• IMLSNet(7,7,1)は、ShapeNetデータセットにおいて、チェンファーディスタンス（CD）0.031、Fスコア0.983、IoU 0.913という最良の再構成品質を達成した。
• アブレーションスタディの結果、表面勾配損失を除去すると性能低下が最も顕著で、CDは0.034に上昇し、IoUは0.897に低下した。これは、表面細部の保持に不可欠な役割を果たしていることを示している。
• 半径の滑らかさ項は最も影響が小さい。これを除去してもわずかな性能低下（CD: 0.033、IoU: 0.902）にとどまり、他の成分に比べて重要性が低いことが示唆された。
• 適応的IMLS半径の使用は、粗い骨格上での再構成を顕著に改善した。IMLSNet(7,7,1)は、固定半径ベースラインcr.(6,6,1)（CD: 0.036、IoU: 0.880）を上回った。
• オクトリーガイド付きの局所的暗黙関数ベースラインは、最小のオクタントにおけるゼロレベルセットが通過することを保証できないため、穴のない表面を生成できなかったが、IMLSNetsは明示的な点ベースIMLS定式化によりこの欠陥を回避した。
• ランタイム評価はIMLS点の予測後にネットワークとは独立しており、各点の評価を再びネットワークで走らせることなく高速に実行可能であり、これは標準的な暗黙関数手法と比較して顕著な利点である。