[論文レビュー] PCN: Point Completion Network

Wentao Yuan, Tejas Khot+3 more|arXiv (Cornell University)|Aug 2, 2018

3D Shape Modeling and Analysis参考文献 66被引用数 35

ひとこと要約

PCNは、ボクセル化を経由せずに、元の3Dポイントクラウドを直接処理する学習ベースの形状補完手法を提案する。粗くから細かくまでのデコーダーを用いて、高密度で現実的な補完を生成する。合成データおよび実世界のデータ（KITTI LiDARスキャンを含む）において最先端の性能を達成し、ノイズやスパarsityに対して高いロバスト性を示す。また、ポイントクラウド登録などの下流タスクを向上させる。

ABSTRACT

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset.

研究の動機と目的

• LiDARなどの実世界センサーから得られる不完全な3次元ポイントクラウドを補完する課題に対処すること。これらのデータは、スパarsityや隠蔽の影響を受けることが一般的である。
• メモリ消費量が多く、幾何的詳細を損なう可能性があるボクセル化を回避すること。
• 部分的なポイントクラウドから直接、高解像度で細部のきめの細かい補完を生成できる深層学習モデルを開発すること。
• ポイントクラウド登録などの下流タスクを向上させるために、より高密度で完全な入力を提供すること。
• 物体のカテゴリーや実世界のデータ（訓練データにない形状やセンサーモダリティを含む）にわたる一般化を確保すること。

提案手法

• 順序に依存しないPointNetベースのエンコーダーを用いて、無順序な部分的ポイントクラウドから特徴を抽出する。
• 独創的な粗くから細かくまでのデコーダーを採用し、2段階で高密度なポイントクラウドを生成する：まず粗い補完を行い、その後で精錬する。
• 幾何的整合性と形状の忠実性を保証する微分可能な損失関数を導入する。
• 中間段階でのボクセル化を回避することで、完全な幾何的解像度を維持し、メモリ使用量を削減する。
• ShapeNetから得た多数の合成形状データセットを用いて、ネットワーク全体をエンドツーエンドで学習する。
• 標準CPU上でリアルタイム推論を実現可能であり、ロボティクスアプリケーションに適している。

実験結果

リサーチクエスチョン

• RQ1 ボクセル化や構造的仮定なしに、原始的かつ無順序なポイントクラウドから深層学習モデルが3次元ポイントクラウドを直接補完できるか？
• RQ2 粗くから細かくまでのデコーダー設計は、ボクセルベースのベースラインと比較して、補完品質とパラメータ効率の両面でどのように向上するか？
• RQ3 PCNは、KITTIデータセットのスパースなLiDARスキャンのような実世界データにどの程度一般化できるか？
• RQ4 PCNによる形状補完は、ポイントクラウド登録のような下流タスクをどの程度向上させるか？
• RQ5 細い構造や分離された部分を処理する際、モデルの失敗モードはどのようなものか？

主な発見

• PCNはポイントクラウド登録の精度を顕著に向上させ、特に部分的な入力が高初期誤差を生じる場合に回転誤差と並進誤差を低減する。
• ShapeNetベンチマークにおいて最先端の性能を達成し、細かな幾何的ディテールを有する現実的で高解像度の補完を生成する。
• ノイズやスパarsityに対して強いロバスト性を示し、不完全でスパースな入力においてボクセルベースの手法を上回る性能を発揮する。
• 訓練データに含まれない物体カテゴリ、特にShapeNetにおける質的結果で示されるように、未学習の形状に対しても良好な一般化性能を示す。
• 3.60GHzのIntel Core i7-7700を搭載した標準CPU上でリアルタイム推論が可能であり、オンラインのロボティクスアプリケーションに実用的である。
• 2,396件のテストインスタンスにおいて登録性能が向上し、特に最も挑戦的な部分スキャンにおいて最大の向上が観察された。