[論文レビュー] SRPCN: Structure Retrieval based Point Completion Network

Kaiyi Zhang, Ximing J. Yang+2 more|arXiv (Cornell University)|Feb 6, 2022

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

SRPCNは、k-meansクラスタリングとKLダイバージェンスを用いてデータベースから妥当な完全形状を検索することで、完成度の高い出力を実現する構造抽出ベースの点群補完ネットワークを提案する。構造点をガウス分布としてモデル化し、検索ベースの再構成を活用することで、従来手法と比較してより現実的で、多様な欠損パターンに優れた汎用性を示す。

ABSTRACT

Given partial objects and some complete ones as references, point cloud completion aims to recover authentic shapes. However, existing methods pay little attention to general shapes, which leads to the poor authenticity of completion results. Besides, the missing patterns are diverse in reality, but existing methods can only handle fixed ones, which means a poor generalization ability. Considering that a partial point cloud is a subset of the corresponding complete one, we regard them as different samples of the same distribution and propose Structure Retrieval based Point Completion Network (SRPCN). It first uses k-means clustering to extract structure points and disperses them into distributions, and then KL Divergence is used as a metric to find the complete structure point cloud that best matches the input in a database. Finally, a PCN-like decoder network is adopted to generate the final results based on the retrieved structure point clouds. As structure plays an important role in describing the general shape of an object and the proposed structure retrieval method is robust to missing patterns, experiments show that our method can generate more authentic results and has a stronger generalization ability.

研究の動機と目的

• 従来の点群補完手法がしばしばぼんやりとした不自然な構造を生成するという真正性の欠如を是正すること。
• 訓練時に固定された欠損パターンを仮定する現在の手法の汎用性の制限を克服すること。
• より少ない点で一般形状を保持できる新しい表現—構造分布—を導入すること。
• KLダイバージェンスに基づく検索機構を構築し、部分入力と構造的に類似した完全形状を照合すること。
• 標準ベンチマークを超えた実世界の欠損パターンにおいて、性能の向上を実証すること。

提案手法

• 入力の部分点群および参照の完全点群の両方から、キーポイントとなる構造点を抽出するためにk-meansクラスタリングが適用される。
• 各構造点は楕円型のガウス分布としてモデル化され、物体の一般形状の分布表現が形成される。
• 個々のガウス成分を統合することで、全体の構造分布が構築され、分布レベルでの比較が可能になる。
• KLダイバージェンスを用いて、参照形状のデータベースから最も類似した完全構造点群を検索する。
• PCNに類似したデコーダーネットワークを用いて、検索された構造点群をアップサンプリングし、最終的な完全点群を生成する。
• 検索プロセスは欠損パターンに依存しないため、多様な入力汚損に対して堅牢な汎用性を有する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習を超えて、構造ベースの検索機構が点群補完の真正性を向上させられるか？
• RQ2 構造分布表現は、多様で任意の欠損パターンにどの程度汎用的に対応できるか？
• RQ3 直接的な形状再構成と比較して、分布マッチングにKLダイバージェンスを用いることで、構造的忠実性が向上するか？
• RQ4 真値とは異なる形状が検索された場合でも、検索ベースの補完が妥当な結果を生成できるか？
• RQ5 提案手法は、補完出力における視覚的アーチファクトや構造的曖昧さをどの程度低減できるか？

主な発見

• SRPCNは、PCN、TopNet、GRNetと比較して、出力がより現実的で構造的に整合性があるという定性的な結果から、優れた真正性を達成している。
• 点対点の整合性に敏感なChamfer Distanceでは成績が芳しくないが、視覚的により真正性の高い結果を生成しており、標準指標が知覚的品質を反映していない可能性を示している。
• 訓練時には観測されていなかった欠損パターンに対しても、良好な汎用性を示しており、特に視点ベースの点削除や深度画像のバックプロジェクションといったパターンに対しても有効である。
• 真値とは異なる形状が検索されても、補完結果は依然として妥当で構造的に安定しており、検索誤りに対するロバストネスを示している。
• 構造分布表現は、疎な構造点からの不安定性を効果的に低減しながら、一般形状を効果的に保持しており、分布密度の可視化によって検証された。
• 汎用性実験により、SRPCNはPF-Netなどのベースラインモデルが失敗する2つの新しい欠損パターンに対しても、高品質な出力を維持していることが確認された。