[論文レビュー] Skeleton-bridged Point Completion: From Global Inference to Local Adjustment

Yinyu Nie, Yiqun Lin+5 more|arXiv (Cornell University)|Oct 14, 2020

3D Shape Modeling and Analysis参考文献 14被引用数 33

ひとこと要約

この論文は SK-PCN を紹介する。これは meso-skeleton をグローバル構造として用い、変位ベースの表面成長を行い、入力融合による局所 refinement と patch-based discriminator によって、従来の encoder-decoder 法より点とメッシュの補完を改善する。

ABSTRACT

Point completion refers to complete the missing geometries of objects from partial point clouds. Existing works usually estimate the missing shape by decoding a latent feature encoded from the input points. However, real-world objects are usually with diverse topologies and surface details, which a latent feature may fail to represent to recover a clean and complete surface. To this end, we propose a skeleton-bridged point completion network (SK-PCN) for shape completion. Given a partial scan, our method first predicts its 3D skeleton to obtain the global structure, and completes the surface by learning displacements from skeletal points. We decouple the shape completion into structure estimation and surface reconstruction, which eases the learning difficulty and benefits our method to obtain on-surface details. Besides, considering the missing features during encoding input points, SK-PCN adopts a local adjustment strategy that merges the input point cloud to our predictions for surface refinement. Comparing with previous methods, our skeleton-bridged manner better supports point normal estimation to obtain the full surface mesh beyond point clouds. The qualitative and quantitative experiments on both point cloud and mesh completion show that our approach outperforms the existing methods on various object categories.

研究の動機と目的

• meso-skeleton を介してグローバル構造を明示的にモデル化することで、部分的な点群からの頑健な3D形状補完を動機づける。
• 補完を skeleton (global) と surface (local) 学習に分離し、トポロジーとディテールの保持を改善する。
• 入力スキャンからの局所情報を、非局所アテンション機構を介して利用し、スケルトンから表面成長を導く。
• 観測可能な入力データを統合し、パッチベースの識別器を使用して観測領域近傍の忠実度を保証することで予測を refinement する。

提案手法

• 部分スキャンから meso-skeleton を予測し、グローバルな物体構造を捉える。
• スケルトンと多重解像度の局所特徴を融合して、スケルトン点から表面変位を回帰する。
• 有用な局所入力特徴を解像度を超えてスケルトン点へ付加するために非局所アテンションモジュールを適用する。
• スケルトン特徴をアップサンプルして変形させ、法線を持つ密な表面を生成し、メッシュ再構成を可能にする。
• 元の部分スキャンと予測表面を結合し、パッチ識別器と表面調整モジュールを用いて境界を微調整する。

実験結果

リサーチクエスチョン

• RQ1 明示的な meso-skeleton は、部分点群からの3D形状補完においてより良いグローバル抽象を提供できるか。
• RQ2 スケルトン誘導表面成長と局所特徴の増強を組み合わせることは、エンコーダ-デコーダのベースラインと比較してトポロジーの保持と表面忠実性を改善するか。
• RQ3 入力データに導かれた局所的な改良ステップが最終的なメッシュ品質と法線精度にどのように影響するか。
• RQ4 補完中に観測可能な領域の忠実度を担保する上で、パッチベースの識別器の役割は何か。

主な発見

• SK-PCN は、複数のオブジェクトカテゴリにおいて、トポロジーを維持し細部を回復する点群補完手法を上回る。
• ブリッジとして meso-skeleton を用いると、潜在特徴デコーダより信頼性の高いグローバル構造の回復が可能。
• 非局所アテンションは貢献的な局所入力特徴をスケルトン点へ効果的に伝播し、表面補完を改善。
• 入力スキャンの結合と表面調整モジュールの適用により、観測領域での忠実度が高まり、メッシュ再構成の法線も改善される。
• このアプローチは、点群補完とその後のメッシュ再構成タスクの両方で改善された結果をもたらす。