[論文レビュー] Morphing and Sampling Network for Dense Point Cloud Completion

Minghua Liu, Lu Sheng+3 more|arXiv (Cornell University)|Nov 30, 2019

3D Shape Modeling and Analysis参考文献 37被引用数 28

ひとこと要約

本論文は、密度の高い3次元点群補完のための2段階型のモーフィングとサンプリングネットワークを提案する。まず、パラメトリックな表面要素を用いて重ね合わせを防ぐ拡張ペナルティを課すことで、重なりのない構造的で粗い点群を生成し、次に新規の統合とサンプリング戦略を用いて均等に分布した高精度な出力を得る。本手法は、地球移動距離（EMD）を損失関数として使用し、EMDおよびチェンファーディスタンス（CD）の両面で、先行研究を上回る最先端の性能を達成する。

ABSTRACT

3D point cloud completion, the task of inferring the complete geometric shape from a partial point cloud, has been attracting attention in the community. For acquiring high-fidelity dense point clouds and avoiding uneven distribution, blurred details, or structural loss of existing methods' results, we propose a novel approach to complete the partial point cloud in two stages. Specifically, in the first stage, the approach predicts a complete but coarse-grained point cloud with a collection of parametric surface elements. Then, in the second stage, it merges the coarse-grained prediction with the input point cloud by a novel sampling algorithm. Our method utilizes a joint loss function to guide the distribution of the points. Extensive experiments verify the effectiveness of our method and demonstrate that it outperforms the existing methods in both the Earth Mover's Distance (EMD) and the Chamfer Distance (CD).

研究の動機と目的

• 点群の不均一な分布、ぼやけた細部、構造的損失を抱える既存の学習ベースの3次元点群補完手法の限界を解消する。
• 密度の高い点群に対して点密度と幾何的詳細に敏感なEMDの利点を保ちつつ、その高い計算コストを克服する。
• 入力の部分点群に既知の構造を補完中に歪みや顕著な特徴の省略を避ける。
• 固定サイズの出力モデルとは異なり、任意の解像度で高密度で高解像度の点群を生成可能な手法を開発する。
• 入力と予測幾何を効果的に統合できる、新規のサンプリング戦略を導入する。

提案手法

• 第1段階：2次元多様体でパラメータ化された表面要素の集合を用いたオートエンコーダを用い、粗いが完全な点群を予測する。
• 各表面要素が局所的領域に制限されるよう拡張ペナルティを適用し、重なりを防ぎ、構造的一致性を確保する。
• 第2段階：新規のサンプリングアルゴリズム（MDSに基づく）を用いて、粗い予測点群と入力の部分点群を統合し、均等に分布したサブセットを生成する。
• ポイントワイズの残差ネットワークを適用して統合点群を精緻化し、細部の生成を可能にする。
• 密度の高い点群の学習を効率的に行うために、地球移動距離（EMD）のオークションアルゴリズムに基づく近似を用いる。
• EMDとCDの両方を組み合わせたジョイント損失関数を最適化することで、幾何的忠実度と分布の一様性の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 構造的表面要素の予測と適応的サンプリングを組み合わせた2段階アプローチは、エンドツーエンド手法と比較して、補完された3次元点群の忠実度と分布性を向上させることができるか？
• RQ2 拡張ペナルティは、粗い補完段階で表面要素の重なりを防ぎ、局所的で一貫性のある幾何を確保するのにどの程度有効か？
• RQ3 粗い予測と入力点群を統合することで、部分入力からの既知の構造的詳細がどの程度保持されるか？
• RQ4 MDSに基づく新規のサンプリング戦略は、FPSなどの標準的手法を上回り、均等な点群分布を実現しながらも幾何的正確性を維持できるか？
• RQ5 特にCDよりも詳細と分布に敏感なEMDの効率的近似は、密度の高い点群補完モデルの学習において実現可能で有益であるか？

主な発見

• 提案手法は、すべてのカテゴリで平均EMD（1.14 × 100）とCD（3.78）が最低となり、すべてのアブレーションバージョンおよび先行の最先端手法を上回る。
• アブレーションスタディの結果、拡張ペナルティを削除すると平均EMDが0.09、CDが0.03上昇し、構造的一致性に果たす重要性が示された。
• 統合ステップを省略した場合、平均EMDは1.29（元の1.14）に上昇し、入力構造の保持と信頼性の向上に統合が寄与していることが示された。
• MDSをFPSに置き換えた場合、EMDは0.12（1.21に）上昇したがCDは0.12低下し、MDSがわずかに高いCDを犠牲にしてもより優れた分布性を実現していることが確認された。
• 精緻化ステップを削除すると、EMDは0.07、CDは0.06上昇し、残差精緻化が細部回復に不可欠であることが証明された。
• EMDではなくCDを用いた場合（Ours-CD）、平均EMDは0.14上昇し、平均CDは1.74上昇した。これにより、EMDが幾何的忠実度と分布性を捉える上で優れていることが確認された。