[論文レビュー] Variational Relational Point Completion Network

Liang Pan, Xinyi Chen+5 more|arXiv (Cornell University)|Apr 20, 2021

3D Shape Modeling and Analysis参考文献 30被引用数 4

ひとこと要約

本論文では、不完全な点群から詳細で構造的に整合性のある3D形状を生成するため、二重パスアーキテクチャによる確率的モデリングと、ポイント自己注意と選択的カーネルモジュールを用いた関係特徴学習を統合した変分的関係的点群補完ネットワーク、VRCNetを提案する。VRCNetは標準ベンチマークで最先端の性能を達成し、実世界のスキャンに対してもロバストに一般化し、形状の細部回復と構造的一致性において従来手法を上回る。

ABSTRACT

Real-scanned point clouds are often incomplete due to viewpoint, occlusion, and noise. Existing point cloud completion methods tend to generate global shape skeletons and hence lack fine local details. Furthermore, they mostly learn a deterministic partial-to-complete mapping, but overlook structural relations in man-made objects. To tackle these challenges, this paper proposes a variational framework, Variational Relational point Completion network (VRCNet) with two appealing properties: 1) Probabilistic Modeling. In particular, we propose a dual-path architecture to enable principled probabilistic modeling across partial and complete clouds. One path consumes complete point clouds for reconstruction by learning a point VAE. The other path generates complete shapes for partial point clouds, whose embedded distribution is guided by distribution obtained from the reconstruction path during training. 2) Relational Enhancement. Specifically, we carefully design point self-attention kernel and point selective kernel module to exploit relational point features, which refines local shape details conditioned on the coarse completion. In addition, we contribute a multi-view partial point cloud dataset (MVP dataset) containing over 100,000 high-quality scans, which renders partial 3D shapes from 26 uniformly distributed camera poses for each 3D CAD model. Extensive experiments demonstrate that VRCNet outperforms state-of-theart methods on all standard point cloud completion benchmarks. Notably, VRCNet shows great generalizability and robustness on real-world point cloud scans.

研究の動機と目的

• 既存の点群補完手法が細部のない粗い形状を生成するという限界を是正すること。
• 現在の手法の決定論的性質を克服し、形状補完における不確実性をモデリングする確率的フレームワークを導入すること。
• 対称性、規則性、表面の滑らかさといった構造的関係を、関係特徴モジュールを用いて明示的に学習することで、幾何的忠実性を向上させること。
• 訓練および評価のための、大規模かつ多様なマルチビュー部分点群データセット（MVP）を提供すること。
• 合成ベンチマークにとどまらず、KITTIおよびScanNetの実世界スキャンにおいても一般化性とロバスト性を示すこと。

提案手法

• VRCNetは二重パスアーキテクチャを採用：一方のパスは変分オートエンコーダ（VAE）を用いて事前分布を学習し、完全な点群を再構築する。もう一方のパスは、完全な点群からの事前分布をガイドとして、部分入力から完全な形状を生成する。
• 確率的モデリングパスでは、部分点群の事後分布を完全点群からの事前分布に一致させるよう正則化することで、不確実性を原理的かつ適切にモデリングする。
• 関係強化ネットワーク（RENet）は、多スケールの局所特徴を用いて粗い補完を精緻化し、ポイント自己注意カーネル（PSA）が学習された注意重みを用いて隣接ポイント間の関係を適応的に集約する。
• ポイント選択的カーネルモジュール（PSK）は、複数のカーネルサイズからの特徴を、適応的なチャネルワイド重み付けを用いて統合し、多スケール特徴表現を強化する。
• モデルは、1つの3D CADモデルに対して26の均等に分布したカメラビューから得られた10万件を超える部分点群および完全点群を含む、新規の大規模MVPデータセット上でエンドツーエンドに訓練される。
• 実世界スキャン（KITTI、ScanNet）に対して微調整が施され、再訓練を必要とせずに、スパarsityとノイズが多い実世界データに適応する。

実験結果

リサーチクエスチョン

• RQ1 変分的フレームワークにより、補完プロセスにおける不確実性をモデリングすることで、より現実的で多様な出力を得られるか？
• RQ2 アテンションベースの局所的関係と多スケールカーネル統合といった関係特徴学習は、細粒度の幾何的詳細および構造的対称性をどれほど効果的に回復できるか？
• RQ3 提案手法は、LiDARおよび深度カメラから得られるノイズ多きくスパarsな実世界点群スキャンに対し、どの程度一般化可能か？
• RQ4 大規模かつマルチビュー部分点群データセット（MVP）の導入により、既存のベンチマークと比較して、モデルの一般化性とロバスト性が顕著に向上するか？
• RQ5 提案された関係モジュール（PSAおよびPSK）は、補完以外の3D点群タスクに対しても効果的に転移可能か？

主な発見

• Completion3Dベンチマークにおいて、VRCNetは最小のチェンファーディスタンス（CD）損失を達成し、平均CDは8.12×10⁻⁴を記録。従来のSOTA手法（GRNet：10.64×10⁻⁴、TopNet：14.25×10⁻⁴）を大きく上回った。
• MVPデータセットにおいて、VRCNetはPCN、NSFA、AtlasNetと比較して、いすの脚やオートバイのホイールといった対称的部品の回復において、より詳細で構造的に整合性のある形状を生成した。
• KITTIおよびScanNetの実スキャンからも、観測された詳細を保持し、高い欠損率下でも滑らかで整合性のある表面を生成する、妥当な完全形状を再構築できた。
• アブレーションスタディにより、PSA、PSK、および二重パスアーキテクチャの各要素が性能向上に顕著に寄与していることが確認され、ベースラインECGと比較して、完全モデルが大幅に優れた性能を示した。
• ユーザースタディーでは、VRCNetが実スキャン点群補完において最も好まれる手法と評価され、生成出力の視覚的質および現実性の高さが示された。
• 10万件を超える高品質な部分点群および完全点群を含むMVPデータセットは、特に実世界一般化タスクにおいて、データの多様性とモデルの一般化能力の向上に寄与した。