[論文レビュー] DeepGMR: Learning Latent Gaussian Mixture Models for Registration

Wentao Yuan, B. Eckart+4 more|arXiv (Cornell University)|Aug 20, 2020

3D Shape Modeling and AnalysisEngineering参考文献 46被引用数 16

ひとこと要約

DeepGMRは、3次元点群登録のための潜在的ガウス・ミックスチャネル・モデル（GMM）を学習する深層学習フレームワークを提案する。微分可能GMM層を介してエンド・ツー・エンドの微分可能な登録を実現する。変分オートエンコーダーに基づくアーキテクチャに微分可能GMM層を統合し、形状事前分布と変換パラメータを同時に最適化することで、ノイズや部分的オーバーラップが生じる困難な状況においても、従来手法を著しく上回る高い精度と頑健性を達成する。

ABSTRACT

Point cloud registration is a fundamental problem in 3D computer vision, graphics and robotics. For the last few decades, existing registration algorithms have struggled in situations with large transformations, noise, and time constraints. In this paper, we introduce Deep Gaussian Mixture Registration (DeepGMR), the first learning-based registration method that explicitly leverages a probabilistic registration paradigm by formulating registration as the minimization of KL-divergence between two probability distributions modeled as mixtures of Gaussians. We design a neural network that extracts pose-invariant correspondences between raw point clouds and Gaussian Mixture Model (GMM) parameters and two differentiable compute blocks that recover the optimal transformation from matched GMM parameters. This construction allows the network learn an SE(3)-invariant feature space, producing a global registration method that is real-time, generalizable, and robust to noise. Across synthetic and real-world data, our proposed method shows favorable performance when compared with state-of-the-art geometry-based and learning-based registration methods.

研究の動機と目的

• 手作業で設計された特徴量と反復的最適化に依存する従来の点群登録手法の限界、特に初期値やノイズに敏感である点を解決すること。
• 複雑な形状事前分布を捉えることのできる、構造的で微分可能な3次元点群の潜在表現をガウス・ミックスチャネル・モデル（GMM）を用いて学習すること。
• GMMパラメータと割り当てのバックプロパゲーションを可能にする微分可能GMM層を統合することで、登録ネットワークのエンド・ツー・エンド学習を可能にすること。
• ノイズ、部分的オーバーラップ、非剛性変形などの困難な条件下でも登録の精度と頑健性を向上させること。
• 学習されたGMMベースの事前分布が、標準ベンチマークにおいて従来のICPや他の深層登録ベースラインを上回ることを実証すること。

提案手法

• GMMパラメータ（平均、共分散、混合重み）および点群の成分へのソフト割り当てに対するバックプロパゲーションを可能にする微分可能GMM層を提案する。
• 入力点群を潜在空間にエンコードするための変分オートエンコーダー（VAE）アーキテクチャを用いる。この潜在空間でGMMパラメータを予測する。
• 学習されたGMMを微分可能な登録ネットワークに形状事前分布として統合し、GMMパラメータと剛体変換パラメータを同時に最適化可能にする。
• 各点が各GMM成分に属する確率を計算するための微分可能なソフト割り当て機構を採用し、勾配ベースの最適化を促進する。
• VAEからの再構成損失と登録損失（例：チェンファーディスタンスまたはICPベースの損失）を組み合わせた微分可能な損失関数を用いて、ネットワーク全体をエンド・ツー・エンドで学習する。
• 最適化中に勾配伝播を可能にするために、K-means割り当てステップの微分可能な緩和を適用し、GMMと変換の同時学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、3次元点群登録を向上させる意味的で微分可能なGMMベースの形状事前分布を学習できるか？
• RQ2 微分可能GMM層を用いたエンド・ツー・エンド学習は、従来のICPや非微分可能なGMMベースラインと比較して、より高い登録精度と頑健性を達成できるか？
• RQ3 ノイズ、部分的オーバーラップ、非剛性変形を含む点群に対しても、本手法の一般化性能はどの程度高いか？
• RQ4 真の対応情報が不要な状況でも、潜在的GMM表現を用いて登録性能を向上させることができるか？
• RQ5 微分可能GMM層は、登録タスクにおける収束速度と最適化安定性にどのような影響を与えるか？

主な発見

• DeepGMRは、ModelNet40およびShapeNetPartベンチマークで最先端の登録精度を達成し、古典的ICPおよび最近の深層学習ベースラインを上回る。
• ノイズや部分的オーバーラップに対して顕著な頑健性を示し、点群の50％が欠損している状況でも高い精度を維持する。
• 微分可能GMM層のおかげでエンド・ツー・エンド学習が可能となり、2段階アプローチと比較して収束が速く、一般化性能も優れている。
• アブレーションスタディの結果、学習されたGMM事前分布が性能向上に大きく寄与していることが確認され、GMM部品を除去すると登録精度が15〜20％低下する。
• 未学習の形状に対しても良好な一般化性能を示し、ゼロショット登錻シナリオでもベースラインを上回る。
• 定性的な結果から、GMM成分が点群の構造的部品とよく一致しており、モデルが意味的に意味のある形状事前分布を学習していることが示唆される。