[論文レビュー] Refinement of Predicted Missing Parts Enhance Point Cloud Completion

Alexis Mendoza, Alexander Apaza+2 more|arXiv (Cornell University)|Oct 8, 2020

3D Shape Modeling and Analysis参考文献 21被引用数 7

ひとこと要約

本論文は、欠損ジオメトリの予測を最初に行い、その後に統合結果を精錬することで、点群の分布と遷移品質を向上させる2段階のディーブラーニングフレームワークを提案する。元の不完全な入力を保持し、欠損部の予測に焦点を当てることで、ShapeNet上で最先端の性能を達成し、Chamfer Distanceおよび完成品質の両面で既存手法を上回っている。特にLampやCapのような挑戦的なカテゴリにおいて顕著である。

ABSTRACT

Point cloud completion is the task of predicting complete geometry from partial observations using a point set representation for a 3D shape. Previous approaches propose neural networks to directly estimate the whole point cloud through encoder-decoder models fed by the incomplete point set. By predicting the complete model, the current methods compute redundant information because the output also contains the known incomplete input geometry. This paper proposes an end-to-end neural network architecture that focuses on computing the missing geometry and merging the known input and the predicted point cloud. Our method is composed of two neural networks: the missing part prediction network and the merging-refinement network. The first module focuses on extracting information from the incomplete input to infer the missing geometry. The second module merges both point clouds and improves the distribution of the points. Our experiments on ShapeNet dataset show that our method outperforms the state-of-the-art methods in point cloud completion. The code of our methods and experiments is available in \url{https://github.com/ivansipiran/Refinement-Point-Cloud-Completion}.

研究の動機と目的

• 既存の点群完成手法が、不要な入力ジオメトリを含む全形状を再構築するという制限を是正すること。
• 元の不完全な点群を保持し、欠損部の予測にのみ学習を集中させることで、完成品質を向上させること。
• 入力と予測部間の点分布および幾何的連続性を向上させる専用の精錬ネットワークを通じて、最終出力を改善すること。
• Lamp や Cap のような高次のクラス内変動を示す挑戦的なカテゴリにおいて、頑健性と優位性を示すこと。
• 欠損部の予測と精錬を分離するシンプルだが効果的なエンドツーエンドアーキテクチャを提供することにより、より良い制御とパフォーマンスを実現すること。

提案手法

• 本手法は2本のブランチを持つニューラルネットワークを用いる：不完全な入力から特化した損失関数を用いて欠損ジオメトリを推定する「欠損部予測ネットワーク」。
• 予測された欠損部は、元の不完全な点群と連結され、統合入力が形成される。
• 別個の「統合・精錬ネットワーク」が統合点群を処理し、既知領域と予測領域間の点分布と滑らかさを向上させる。
• 精錬ネットワークは、均一な点分布と正解との幾何的整合性を促進する損失関数で訓練される。
• 全体のアーキテクチャはエンドツーエンドで学習可能であり、欠損部予測モジュールと精錬モジュールが共同最適化される。
• 先行研究で用いられる対称性や自己類似性といった強い仮定を避けるために、幾何的事前知識を学習によって暗黙的に活用する。

実験結果

リサーチクエスチョン

• RQ1 全形状の再構築ではなく、単に欠損部の予測に焦点を当てることで、点群完成の結果が向上するか？
• RQ2 元の不完全な入力ジオメトリを保持することで、完成品質と頑健性にどのような影響を与えるか？
• RQ3 専用の精錬ステップは、最終点群の分布と連続性をどの程度向上させるか？
• RQ4 本手法は、高い変動性と複雑な欠損領域を示す挑戦的なカテゴリで、どのように性能を発揮するか？
• RQ5 本手法は、欠損ジオメトリのサイズが異なる場合でも高いパフォーマンスを維持できるか？

主な発見

• 本手法はShapeNetデータセット上で最先端の手法を上回り、平均Chamfer Distanceが9.769 × 10⁻⁴（Ours-MLP）を達成したのに対し、次に優れた手法は7.514 × 10⁻⁴であった。
• 精錬モジュールは完成品質を顕著に向上させ、特に挑戦的なクラスで顕著な改善を示した：Lamp（25.197 → 12.805 × 10⁻⁴）およびCap（1.822 → 2.307 × 10⁻⁴）で、$Pred\rightarrow GT$および$GT\rightarrow Pred$の両方の誤差で一貫した向上が確認された。
• 欠損部のサイズが変化する範囲（半径0.25から0.45）においても優れた性能を維持し、一貫した向上が得られたが、より大きな半径（0.55）ではやや性能が低下し、非常に大きな欠損領域の処理には限界があることが示唆された。
• アブレーションスタディにより、精錬が極めて重要であることが確認された：精錬モジュールを削除すると、特にデータの不均衡や幾何的不整合の処理において顕著な性能低下が生じた。
• 本手法は、Lamp や Cap のようなクラス内変動が著しいカテゴリにおいても頑健で一般化能力に優れており、相対的な改善が最も顕著に観察された。
• アーキテクチャは効果的かつ効率的であり、欠損部予測と精錬の間に明確な役割分担がなされており、統合再構築アプローチに比べてより良い学習とより優れた結果を実現した。