[論文レビュー] Unsupervised Learning of 3D Point Set Registration

Lingjing Wang, Li Xiang+1 more|arXiv (Cornell University)|Jun 11, 2020

3D Shape Modeling and Analysis参考文献 34被引用数 11

ひとこと要約

本稿では、教師ありの特徴エンコーダーや相関モジュールを必要とせず、学習可能な空間相関表現（SCR）特徴を直接最適化することで幾何的変換（回転と平行移動）を回帰する、3次元点群登錧のための教師なし深層学習フレームワーク、Deep-3DAlignerを提案する。ModelNet40において、教師あり最先端手法と同等の性能を達成しており、ガウスノイズ、外れ値、欠損点の下でも安定性を示しており、真値ラベルなしで高 robust な性能を発揮する。

ABSTRACT

Point cloud registration is the process of aligning a pair of point sets via searching for a geometric transformation. Recent works leverage the power of deep learning for registering a pair of point sets. However, unfortunately, deep learning models often require a large number of ground truth labels for training. Moreover, for a pair of source and target point sets, existing deep learning mechanisms require explicitly designed encoders to extract both deep spatial features from unstructured point clouds and their spatial correlation representation, which is further fed to a decoder to regress the desired geometric transformation for point set alignment. To further enhance deep learning models for point set registration, this paper proposes Deep-3DAligner, a novel unsupervised registration framework based on a newly introduced deep Spatial Correlation Representation (SCR) feature. The SCR feature describes the geometric essence of the spatial correlation between source and target point sets in an encoding-free manner. More specifically, our method starts with optimizing a randomly initialized latent SCR feature, which is then decoded to a geometric transformation (i.e., rotation and translation) to align source and target point sets. Our Deep-3DAligner jointly updates the SCR feature and weights of the transformation decoder towards the minimization of an unsupervised alignment loss. We conducted experiments on the ModelNet40 datasets to validate the performance of our unsupervised Deep-3DAligner for point set registration. The results demonstrated that, even without ground truth and any assumption of a direct correspondence between source and target point sets for training, our proposed approach achieved comparative performance compared to most recent supervised state-of-the-art approaches.

研究の動機と目的

• 深層学習ベースの3次元点群登錧が大規模な真値ラベルを必要としているという制限を解消すること。
• モデルの複雑さを増す手作業の特徴エンコーダーや相関モジュールの必要性を排除すること。
• 空間相関表現と変換復元の両方を一括して最適化するエンドツーエンドの教師なしフレームワークを構築すること。
• 教師なし条件下でもノイズ、外れ値、欠損点に対して強い耐性を持つようにすること。
• 一般化可能な幾何的変換事前分布を学習することで、異なる点群ペア間で知識を転送可能にする。

提案手法

• エンコーダーフリーな方法で、ソース点群とターゲット点群の間の幾何的関係を符号化する、学習可能な微分可能な空間相関表現（SCR）特徴を導入する。
• 多層ニューラルネットワークを介してSCR特徴を剛体変換パラメータ（回転Rと平行移動t）にマップする変換デコーダー・ネットワークを提案する。
• 訓練中に変換されたソース点群とターゲット点群の類似度を測るため、チェンバーディスタンスに基づくアライメント損失を採用する。
• 真値変換に依存しない教師なし目的関数を用いて、バックプロパゲーションによりSCR特徴とデコーダー重みを同時に最適化する。
• SCR最適化プロセスの入力として、サイズN×3の相対位置テンソルを用い、ソース集合とターゲット集合間の点対関係を表現する。
• 推論時には訓練済みのデコーダーを固定し、新しい点群ペアに対してはSCR特徴のみを最適化することで、高速かつ汎用的なアライメントを実現する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な微分可能な空間相関表現（SCR）は、3次元点群登錧において明示的な特徴エンコーダーや相関モジュールに置き換え可能か？
• RQ2 教師なしの深層学習フレームワークは、真値変換ラベルが一切ない状況でも競争力のある登錧精度を達成可能か？
• RQ3 ガウスノイズ、外れ値、欠損点といった困難な条件下で、本手法はどのように性能を発揮するか？
• RQ4 SCRと変換デコーダーの共同最適化は、直接Rとtを最適化する手法よりも優れた一般化性能をもたらすか？
• RQ5 微調整なしに、異なる点群ペア間で本フレームワークが一般化可能か？

主な発見

• Deep-3DAlignerはModelNet40で競争力のある性能を達成しており、MSE(R) = 16.5751、MAE(R) = 1.3631であり、一部の指標では教師ありDCPベースラインを上回っている。
• 0.6 D.O.のノイズ下でも強力な性能を維持しており、高い外れ値比にもかかわらず、約半数のテストケースを正常にアライメントしている。
• 直接最適化手法との直接比較では、Deep-3DAlignerはMSE(R) = 1.1544を達成した一方で、直接最適化では406.13にとどまり、学習済み事前分布の必要性を示している。
• クリーンな条件下でも、ガウスノイズ、外れ値、欠損点に対して耐性を示しており、MSE(t) = 0.000444、MAE(t) = 0.014533という低値を記録している。
• アブレーションスタディにより、提案されたSCR表現と多層デコーダーが不可欠であることが確認され、Rとtの直接最適化では妥当な解に収束しないことが判明した。
• 本フレームワークは有効な転移学習を可能としており、再トレーニングなしに訓練済みデコーダーが新しい点群ペアに一般化して適用可能である。