[論文レビュー] LAKe-Net: Topology-Aware Point Cloud Completion by Localizing Aligned Keypoints

Junshu Tang, Zhijun Gong+3 more|arXiv (Cornell University)|Mar 31, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

LAKe-Net は、局所化された整合キー​​ポイントと表面骨格の生成により、トポロジーに配慮した形状再構成を実現するポイントクラウド補完フレームワークを提案する。非対称なキーポイントロケータ、表面骨格生成、再帰的骨格支援精錬を組み合わせたキーポイント・骨格・形状予測パイプラインを導入することで、PCN および ShapeNet ベンチマークで顕著な mIoU および EMD の向上を達成し、最先端の性能を実現した。

ABSTRACT

Point cloud completion aims at completing geometric and topological shapes from a partial observation. However, some topology of the original shape is missing, existing methods directly predict the location of complete points, without predicting structured and topological information of the complete shape, which leads to inferior performance. To better tackle the missing topology part, we propose LAKe-Net, a novel topology-aware point cloud completion model by localizing aligned keypoints, with a novel Keypoints-Skeleton-Shape prediction manner. Specifically, our method completes missing topology using three steps: 1) Aligned Keypoint Localization. An asymmetric keypoint locator, including an unsupervised multi-scale keypoint detector and a complete keypoint generator, is proposed for localizing aligned keypoints from complete and partial point clouds. We theoretically prove that the detector can capture aligned keypoints for objects within a sub-category. 2) Surface-skeleton Generation. A new type of skeleton, named Surface-skeleton, is generated from keypoints based on geometric priors to fully represent the topological information captured from keypoints and better recover the local details. 3) Shape Refinement. We design a refinement subnet where multi-scale surface-skeletons are fed into each recursive skeleton-assisted refinement module to assist the completion process. Experimental results show that our method achieves the state-of-the-art performance on point cloud completion.

研究の動機と目的

• 直接的な点位置予測による欠損トポロジー構造の回復に失敗する既存のポイントクラウド補完手法の限界を解消すること。
• キーポイントや骨格といった構造的表現を用いて幾何的トポロジーを明示的にモデル化することで、補完品質を向上させること。
• 大規模な3次元データに対して密度の高いアノテーションを必要とせず、弱教師付きアプローチにより整合キー​​ポイントを局所化すること。
• 多スケールの表面骨格を構造的事前知識として統合することで、形状の精錬を向上させること。
• 最小限の教師信号で多様な3次元カテゴリにわたる頑健性と一般化性能を示すこと。

提案手法

• 非対称キーポイントロケータとして、自己教師付きマルチスケールキーポイント検出器（UMKD）と完全キーポイント生成器（CKG）を組み合わせ、部分的および完全なポイントクラウド上での整合キーポイントの局所化を実現する。
• 整合キーポイントは、カテゴリ内オブジェクト間で順序が一貫していると定義され、キーポイント予測のための安定的で意味的に意味のある監視を可能にする。
• 幾何的事前知識を用いてキーポイントから新しい表面骨格を生成し、曲線と三角形面を組み合わせることで、複雑なトポロジカルな詳細を表現する。
• 多スケールの表面骨格を、折りたたみベースの精錬サブネットに供給し、再帰的骨格支援精錬モジュール（RSR）を用いて段階的に補完出力を精錬する。
• 2段階の訓練プロセスを採用：まず自動符号化器を用いて粗い形状を再構築し、次にキーポイントおよび骨格の監視を用いて精錬を行う。
• 異なる3次元カテゴリにわたるキーポイント検出を向上させるために、UMKDでカテゴリ固有のオフセット予測器（csop）を用い、予測キーポイントの集約を回避する。

Figure 1 : Illustration of (a) visual comparison results of current completion methods, (b) completion process of our LAKe-Net, and (c) aligned keypoints. Compared with GRNet [ 34 ] , PMP-Net [ 29 ] , PoinTr [ 40 ] and Snowflake [ 32 ] , LAKe-Net can effectively recover missing topology part (see Re

実験結果

リサーチクエスチョン

• RQ1 密度の高いアノテーションがなくても、弱教師付きアプローチにより部分的ポイントクラウドから整合キーポイントを信頼性高く局所化できるか？
• RQ2 キーポイントや骨格といった構造的トポロジカル表現が、直接的な点位置予測を上回るポイントクラウド補完性能をどのように向上させるか？
• RQ3 多スケールの表面骨格は、補完タスクにおける局所的幾何的詳細回復にどの程度寄与するか？
• RQ4 キーポイント・骨格・形状パイプラインは、エンドツーエンドの点位置予測と比較して、トポロジカルな正確性と再構築品質の両面で優れているか？
• RQ5 実世界のシナリオにおけるキーポイント検出誤りや形状分類誤りに対して、本手法は頑健であるか？

主な発見

• LAKe-Net は PCN データセットで最先端の性能を達成し、Vessel カテゴリにおいて平均 EMD 0.958、mIoU 74.0 を記録し、先行手法を上回った。
• アブレーションスタディでは、完全キーポイントを FPS ダウンサンプリング点に置き換えると性能が著しく低下（EMD: 1.963 対 1.557）し、構造的キーポイント表現の必要性を裏付けた。
• 表面骨格を削除すると EMD が 2.251 に上昇し、表面骨格が細粒度のトポロジー回復に不可欠であることを示した。
• カテゴリ固有のオフセット予測器（csop）を導入することで、単一の不変予測器と比較して、全カテゴリで mIoU が 10〜20 ポints 向上し、多カテゴリへの一般化性能の有効性を実証した。
• キーポイントの 5% の摂動および形状分類誤りに対しても、EMD がわずかに上昇（例：1.700 対 1.557）するにとどまり、実世界のノイズ環境下でも安定性を示した。
• 可視化により、LAKe-Net は特にジョイント部や構造的部品において、ベースラインと比較してより顕著で意味的に意味のあるキーポイントを検出していることが確認された。

Figure 2 : The overall architecture of LAKe-Net, which consists of two parts including Point Cloud Reconstruction ( Blue ) and Point cloud Completion ( Red ). We show the detailed structure of (a) Auto-encoder $E$ , (b) Complete Keypoint Generator $G$ and (c) Recursive Skeleton-assisted Refinement m