[論文レビュー] Deep Closest Point: Learning Representations for Point Cloud Registration

Yue Wang, Justin Solomon|arXiv (Cornell University)|May 8, 2019

3D Shape Modeling and Analysis参考文献 53被引用数 120

ひとこと要約

Deep Closest Point (DCP) は点群埋め込みを学習し、注意機構を用いたマッチングモジュールと微分可能な SVD を組み合わせて剛体変換を予測します。ModelNet40 で ICP やいくつかのベースラインを上回っています。

ABSTRACT

Point cloud registration is a key problem for computer vision applied to robotics, medical imaging, and other applications. This problem involves finding a rigid transformation from one point cloud into another so that they align. Iterative Closest Point (ICP) and its variants provide simple and easily-implemented iterative methods for this task, but these algorithms can converge to spurious local optima. To address local optima and other difficulties in the ICP pipeline, we propose a learning-based method, titled Deep Closest Point (DCP), inspired by recent techniques in computer vision and natural language processing. Our model consists of three parts: a point cloud embedding network, an attention-based module combined with a pointer generation layer, to approximate combinatorial matching, and a differentiable singular value decomposition (SVD) layer to extract the final rigid transformation. We train our model end-to-end on the ModelNet40 dataset and show in several settings that it performs better than ICP, its variants (e.g., Go-ICP, FGR), and the recently-proposed learning-based method PointNetLK. Beyond providing a state-of-the-art registration technique, we evaluate the suitability of our learned features transferred to unseen objects. We also provide preliminary analysis of our learned model to help understand whether domain-specific and/or global features facilitate rigid registration.

研究の動機と目的

• 局所最値を避けるため、古典的 ICP を超える頑健な rigid registration を動機づける。
• 2 つの点群間で信頼できる対応を予測する学習ベースのパイプラインを開発する。
• ModelNet40 で ICP、Go-ICP、FGR、PointNetLK に対するエンドツーエンドの性能を評価する。
• 局所特徴とグローバル特徴の役割と、学習済み埋め込みの未知オブジェクトへの転移性を調査する。

提案手法

• PointNet または DGCNN を用いて点群を共通の特徴空間へ埋め込む。
• 注意に基づくモジュール（Transformer）を組み込み、点群間の文脈情報を統合する。
• 埋め込みの softmax を介して点間のソフトで微分可能な対応関係（ポインタ）を生成する。
• ソフト対応から微分可能な SVD レイヤーを用いて剛体変換を復元する。
• 回転と平行移動の誤差を組み合わせた SE(3) 損失で、合成ペア上でエンドツーエンドに訓練する。
• 埋め込みの選択、MLP vs SVD、埋め込み次元数のアブレーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習済みの各点の埋め込みは、古典的 ICP と比較して3D点群登録の頑健性と精度を向上させるか？
• RQ2 注意ベースの共文脈埋め込みは、2つの点群間の対応を改善するか？
• RQ3 ソフト対応から剛体変換を復元する微分可能な SVD レイヤーは有利か？
• RQ4 局所（DGCNN）対 global（PointNet） features は、登録性能と一般化にどう影響するか？
• RQ5 学習済みの特徴は未知のカテゴリへ転移し、ノイズに対して頑健性を維持するか？

主な発見

モデル	MSE(R)	RMSE(R)	MAE(R)	MSE(t)	RMSE(t)	MAE(t)
ICP	894.897339	29.914835	23.544817	0.084643	0.290935	0.248755
Go-ICP [53]	140.477325	11.852313	2.588463	0.000659	0.025665	0.007092
FGR [57]	87.661491	9.362772	1.999290	0.000194	0.013939	0.002839
PointNetLK [16]	227.870331	15.095374	4.225304	0.000487	0.022065	0.005404
DCP-v1 (ours)	6.480572	2.545697	1.505548	0.000003	0.001763	0.001451
DCP-v2 (ours)	1.307329	1.143385	0.770573	0.000003	0.001786	0.001195

• DCP-v1 は、未知データを含む ModelNet40 テストで ICP、Go-ICP、FGR、PointNetLK をすでに上回っている。
• 注意機構を備えた DCP-v2 は DCP-v1 より登録精度をさらに向上させる。
• DCP はガウスノイズに対して頑健性を維持し、騒がしい設定で競合を上回る。
• DCP を初期化ステップとして用いると ICP が全体最適解へ収束する可能性があり、磨き上げ段階として機能する。
• アブレーションは、DGCNN ベースの局所特徴と SVD ベースの剛体運動推定器が性能向上に寄与する一方、埋め込み次元数とアーキテクチャの選択が結果に影響することを示している。