[論文レビュー] 3D Point Cloud Registration with Multi-Scale Architecture and Unsupervised Transfer Learning

Sofiane Horache, Jean‐Emmanuel Deschaud+1 more|arXiv (Cornell University)|Mar 26, 2021

3D Shape Modeling and Analysis参考文献 55被引用数 29

ひとこと要約

本論文は、高速で一般化可能な3D点群登録のための多尺度U-Netベースの記述子MS-SVConvと、未知データセットへ適応するための教師なし転移学習アプローチであるUDGEを提案します。

ABSTRACT

We propose a method for generalizing deep learning for 3D point cloud registration on new, totally different datasets. It is based on two components, MS-SVConv and UDGE. Using Multi-Scale Sparse Voxel Convolution, MS-SVConv is a fast deep neural network that outputs the descriptors from point clouds for 3D registration between two scenes. UDGE is an algorithm for transferring deep networks on unknown datasets in a unsupervised way. The interest of the proposed method appears while using the two components, MS-SVConv and UDGE, together as a whole, which leads to state-of-the-art results on real world registration datasets such as 3DMatch, ETH and TUM. The code is publicly available at https://github.com/humanpose1/MS-SVConv .

研究の動機と目的

• ground-truth姿勢を必要とせず、新しく多様なデータセットに対して深層学習ベースの3D点群登録を一般化する課題に対処する。
• 高速で一般化可能な記述子計算アーキテクチャを、多尺度な疎ボクセル畳み込み（MS-SVConv）を用いて提案する。
• 未知データセットに適応するための、データ生成に基づく教師なし転移学習戦略であるUDGEを導入する。
• 監督ありおよび教師なし転送設定の下で、実世界データセット（3DMatch、ETH、TUM）で最先端または強く競争力のある結果を示す。

提案手法

• MS-SVConvを提案: 複数のボクセルスケールで動作する共有型のマルチスケールU-Netベースの記述子抽出器で、スケールごとのダウンサンプリングと最終的なMLP融合により点の記述子を生成する。
• 効率を維持し、大規模な点群の処理を可能にするために疎畳み込みを使用する。
• 正例と負例のマッチを学習するために、難易度の高いネガティブ対比損失で訓練する。
• UDGEを導入: 単一の点群から2つの部分ビューを作成するデータ生成ベースの教師なし転移学習（クロップと周期的サンプリングを介して）により、 ground-truth姿勢なしでターゲットデータセットへ転送を可能にする。
• 転送時には、ソースデータセット（例: ModelNet または 3DMatch）で事前訓練を行い、ターゲットデータセットでUDGEを適用して教師なしで記述子を適応させる。

Figure 1 : Summary of the proposed method. We can use MS-SVConv for supervised training on a huge dataset, and then we can transfer it in an unsupervised fashion on a smaller dataset.

実験結果

リサーチクエスチョン

• RQ1 多尺度U-Net記述子アーキテクチャは、さまざまな実世界データセット間で登録の一般化を改善できるか？
• RQ2 データ生成を用いる教師なし転移学習（UDGE）は、事前学習済みの記述子を未知データセットへ効果的に適応させ、 ground-truth姿勢を必要としないか？
• RQ3 難易度の高いデータセット（ETH、TUM、3DMatch）で、単独の多尺度MS-SVConvとCREASEを組み合わせた場合の性能向上はどの程度か？

主な発見

• 3つのヘッド（3スケール）を持つMS-SVConvは、FMRにおいて3D Matchで公表済み手法を上回り、1つのテスト設定で最高手法が97.5%のところ98.4%を達成。
• 多尺度MS-SVConvは、単一スケールのバリアントと比べて一般化能力を大幅に向上させ、特に対称テストが適用される場合に顕著。
• ETHでのUAGEは最先端のFMRを達成（例: UDGE後のMS-SVConv(3)で98.9%）し、SREも競争力があり、パッチベース手法よりはるかに高速。
• 合成データ源（ModelNet）でMS-SVConvを事前訓練し、UDGEを組み合わせると、ターゲットのground-truth姿勢なしでETH、TUM、3DMatchで強力な結果を達成。
• 多尺度アーキテクチャとUDGEには相乗効果があり、ヘッドを増やすとFMRで加算的な改善が得られる（MS-SVConv(3) vs. MS-SVConv(1)）。
• ターゲットデータセットが小さくても、syntheticまたは他の実データソースで監督付き事前訓練がある場合、UDAベース転送は依然として有効である。

Figure 2 : Architecture of the proposed Multi-Scale Sparse Voxel Convolution (MS-SVConv) for registration. The point cloud is downsampled at each scale with a grid subsampling that increases the side length of the voxel by 2 each time.