[論文レビュー] PMP-Net: Point Cloud Completion by Learning Multi-step Point Moving Paths

Xin Wen, Xiang Peng+5 more|arXiv (Cornell University)|Dec 7, 2020

3D Shape Modeling and AnalysisEngineering参考文献 49被引用数 17

ひとこと要約

PMP-Netは、形状補完を地球移動距離（EMD）正則化のもとで一意な点移動経路（PMP）を学習する多段階点変形プロセスとして定式化する、新しい点群補完手法を提案する。再帰的経路集約（RPA）モジュールを用いた粗〜細の経路探索により、Completion3DおよびPCNデータセットで最先端の性能を達成し、生成ベースラインを顕著に上回る。

ABSTRACT

The task of point cloud completion aims to predict the missing part for an incomplete 3D shape. A widely used strategy is to generate a complete point cloud from the incomplete one. However, the unordered nature of point clouds will degrade the generation of high-quality 3D shapes, as the detailed topology and structure of discrete points are hard to be captured by the generative process only using a latent code. In this paper, we address the above problem by reconsidering the completion task from a new perspective, where we formulate the prediction as a point cloud deformation process. Specifically, we design a novel neural network, named PMP-Net, to mimic the behavior of an earth mover. It moves each point of the incomplete input to complete the point cloud, where the total distance of point moving paths (PMP) should be shortest. Therefore, PMP-Net predicts a unique point moving path for each point according to the constraint of total point moving distances. As a result, the network learns a strict and unique correspondence on point-level, which can capture the detailed topology and structure relationships between the incomplete shape and the complete target, and thus improves the quality of the predicted complete shape. We conduct comprehensive experiments on Completion3D and PCN datasets, which demonstrate our advantages over the state-of-the-art point cloud completion methods.

研究の動機と目的

• 不完全な点群における詳細なトポロジーと構造を捉えることに課題を抱える生成モデルの限界を解消すること。
• 不完全形状と完全形状の間で、厳密で一意な点レベルの対応関係を確立することで、補完品質を向上させること。
• 直接生成ではなく、微分可能な点変形プロセスとして点群補完を再定式化すること。
• EMDにインspiredされた正則化を用いて最適かつ最短の総経路移動を学習することで、構造的忠実性を向上させること。
• 粗〜細の多段階経路探索戦略により、点軌道の段階的精錬を可能とすること。

提案手法

• PMP-Netは、不完全点群の各点を完全形状における対応位置へ移動させる多段階変形プロセスとして点群補完を定式化する。
• 各点の履歴的移動経路を記憶・集約するため、GRUにインspiredされた新規な再帰的経路集約（RPA）モジュールを導入する。
• 段階を経て徐々に縮小する探索半径を用いた粗〜細の経路探索戦略を採用し、移動予測を段階的に精錬する。
• 点移動経路（PMP）損失を地球移動距離（EMD）に基づいて定義し、総経路長を最小化するとともに、一意で安定した対応関係を促進することで、学習プロセスを正則化する。
• 各段階で、現在の位置と集約された履歴的経路情報に基づいて、移動の方向と長さを予測する。
• アーキテクチャはエンドツーエンドに訓練され、PMP損失を最小化するよう設計されており、最終的な完成点群における幾何的整合性と構造的正確性を強制する。

実験結果

リサーチクエスチョン

• RQ1 直接生成と比較して、明示的な点移動経路を学習することで、点群補完の構造的忠実性が向上するか？
• RQ2 総経路長にEMDに基づく正則化を適用することで、予測された点対応関係の一意性と品質はどのように変化するか？
• RQ3 点群変形における多段階経路精錬において、最適なステップ数と探索半径のスケーリング戦略は何か？
• RQ4 再帰的履歴集約を組み込むことで、単一ステップまたは非再帰的アプローチと比較して、経路予測の正確性はどの程度向上するか？
• RQ5 単一ステップ変形と比較して、粗〜細の経路探索戦略は補完品質をどの程度向上させるか？

主な発見

• PMP-NetはCompletion3Dベンチマークで最先端の性能を達成し、平均チェンバーディスタンス（CD）が11.58にまで低下し、ベースラインを上回った。
• アブレーションスタディの結果、PMP損失を削除すると平均CDが13.66に上昇し、構造的正確性の向上に不可欠な役割を果たしていることが確認された。
• 探索半径を[1.0, 0.1, 0.01]に段階的に縮小する3段階の経路探索が最良の性能を示したが、4段階では冗長性の増加により効果が薄れた。
• 粗〜細戦略として[1.0, 0.1, 0.01]の半径縮小が、固定半径[1.0,1.0,1.0]や徐々に減少する[1.0,0.5,0.25]戦略を上回った。
• 可視化分析により、粗〜細の探索戦略では初期段階の予測がより完全で構造的であり、後続ステップでの精錬がより効果的であることが確認された。
• RPAモジュールは非再帰的ベースラインと比較して顕著な性能向上を示し、単純なRNNベースの経路集約器と比較して平均CDが1.7%低下した。