[論文レビュー] One Framework to Register Them All: PointNet Encoding for Point Cloud Alignment

Vinit Sarode, Xue-Qian Li+6 more|arXiv (Cornell University)|Dec 12, 2019

3D Shape Modeling and Analysis参考文献 42被引用数 11

ひとこと要約

本稿では、対応関係の明示的計算を伴わずに、テンプレート点群とソース点群を一致させるための、新しい微分可能フレームワークを提案する。PointNet符号化を活用し、シアンプス型PointNetアーキテクチャを用い、全結合層またはLucas-Kanade最適化を組み合わせることで、ノイズや部分的データに対しても高い精度と耐性を発揮し、ICP や Go-ICP よりも高速でありながら、Go-ICP と同等の精度を達成する。

ABSTRACT

PointNet has recently emerged as a popular representation for unstructured point cloud data, allowing application of deep learning to tasks such as object detection, segmentation and shape completion. However, recent works in literature have shown the sensitivity of the PointNet representation to pose misalignment. This paper presents a novel framework that uses PointNet encoding to align point clouds and perform registration for applications such as 3D reconstruction, tracking and pose estimation. We develop a framework that compares PointNet features of template and source point clouds to find the transformation that aligns them accurately. In doing so, we avoid computationally expensive correspondence finding steps, that are central to popular registration methods such as ICP and its variants. Depending on the prior information about the shape of the object formed by the point clouds, our framework can produce approaches that are shape specific or general to unseen shapes. Our framework produces approaches that are robust to noise and initial misalignment in data and work robustly with sparse as well as partial point clouds. We perform extensive simulation and real-world experiments to validate the efficacy of our approach and compare the performance with state-of-art approaches. Code is available at https://github.com/vinits5/pointnet-registrationframework.

研究の動機と目的

• 実世界の点群データにおけるPoseのずれに対するPointNetの感受性を軽減すること。
• ICP やその変種で見られる高コストな対応関係計算を回避する統合的フレームワークを構築すること。
• PointNetによる学習された事前知識を活用し、ノイズ、部分的観測、スパースなデータにおいても耐性のある登錣を実現すること。
• 形状固有のアプローチと汎用的な登錣の両方をサポートする柔軟なフレームワークを提供すること。
• 3次元再構築やトラッキングなどの下流タスクに統合可能な、エンド・ツー・エンドの微分可能登錣を深層学習パイプラインに統合すること。

提案手法

• シアンプス型PointNetアーキテクチャが、テンプレート点群とソース点群を共通の特徴ベクトルに符号化する。
• 変換行列の推定は、符号化された特徴間の変換を全結合層またはLucas-Kanadeアルゴリズムを用いて回帰することで実行される。
• フレームワークは完全に微分可能であり、CPUベースの対応関係計算を必要とせず、エンド・ツー・エンドの学習とGPU加速を可能にする。
• 反復的リファインメントは、変換されたソース点群をネットワークに再入力することで実現され、より良い一致が得られる。
• ノイズや不完全なデータに対する耐性を高めるために、トレーニング段階で形状固有の事前知識を組み込む。
• 反復的および非反復的バージョンの両方をサポートする。速度と精度のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 PointNetベースの特徴符号化を用いることで、高精度かつ耐性のある対応関係フリーな点群登錣が可能になるか？
• RQ2 トレーニング段階で形状固有の事前知識を統合すると、ノイズやスパースな点群に対して性能にどのような影響を与えるか？
• RQ3 反復的および非反復的バージョンを用いる際の、計算効率と精度のトレードオフは何か？
• RQ4 最先端の学習ベースおよび古典的手法と比較して、本フレームワークの耐性と速度はどの程度か？
• RQ5 本フレームワークは、未知のオブジェクトカテゴリに対しても一般化可能であり、実世界のデータにおいても性能を維持できるか？

主な発見

• 反復的バージョン（i-PCRNet）は、回転誤差1.03°、並進誤差0.85×10⁻²ユニットを達成し、Go-ICP と同等の精度を発揮するが、計算時間は1000分の1にまで低減された。
• 非反復的PCRNetバージョンは平均1.89 msで実行され、95%のAUCを達成しており、リアルタイムの事前登錣タスクに適している。
• スパースなデータでトレーニングしたi-PCRNetは、スパースなテストデータにおいて回転誤差3.59°を示し、点密度が低い状況でも耐性があることを示した。
• S3DISデータセットの実世界の屋内シーンにおいて、i-PCRNetは姿勢推定を用いて椅子を別のモデルに交換するのに成功し、ICP やグローバル登錣手法を上回った。
• PointNetをVoxNetに置き換えたバージョンVoxRegは、ICP と同等の性能を示し、本フレームワークが異なるバックボーン符号化器に対しても柔軟性を有することを確認した。
• フレームワークの微分可能性により、ICP や非微分可能な手法とは異なり、エンド・ツー・エンドの深層学習パイプラインへのシームレスな統合が可能となった。