[論文レビュー] Non-Rigid Point Set Registration Networks

Wang, Lingjing, Chen Jian-chun+2 more|arXiv (Cornell University)|Apr 2, 2019

3D Shape Modeling and Analysis参考文献 26被引用数 33

ひとこと要約

PR-Net は訓練データから登録パターンを学習し、未知の点集合に対して非剛性変換を直接予測することで、反復最適化なしに高速で頑健な登録を実現します。

ABSTRACT

Point set registration is defined as a process to determine the spatial transformation from the source point set to the target one. Existing methods often iteratively search for the optimal geometric transformation to register a given pair of point sets, driven by minimizing a predefined alignment loss function. In contrast, the proposed point registration neural network (PR-Net) actively learns the registration pattern as a parametric function from a training dataset, consequently predict the desired geometric transformation to align a pair of point sets. PR-Net can transfer the learned knowledge (i.e. registration pattern) from registering training pairs to testing ones without additional iterative optimization. Specifically, in this paper, we develop novel techniques to learn shape descriptors from point sets that help formulate a clear correlation between source and target point sets. With the defined correlation, PR-Net tends to predict the transformation so that the source and target point sets can be statistically aligned, which in turn leads to an optimal spatial geometric registration. PR-Net achieves robust and superior performance for non-rigid registration of point sets, even in presence of Gaussian noise, outliers, and missing points, but requires much less time for registering large number of pairs. More importantly, for a new pair of point sets, PR-Net is able to directly predict the desired transformation using the learned model without repetitive iterative optimization routine. Our code is available at https://github.com/Lingjing324/PR-Net.

研究の動機と目的

• 大規模データセットに対する高速・リアルタイムな非剛性点集合登録を動機づける。
• 対の間で登録パターンを転移させる学習ベースのフレームワークを提案する。
• 不規則な点群に適した形状記述子と相関表現を開発する。
• ノイズ、外れ値、不完全なデータに対する頑健性を示しつつ計算時間を削減する。

提案手法

• 局所・全体幾何を捉えるために点集合上の参照グリッドで学習される形状記述子テンソルを導入する。
• 形状相関テンソルをソース記述子とターゲット記述子間の全対点-wise 相関として定義する。
• 2D/3D CNNを用いて形状相関テンソルを変換パラメータへ写像する（TPSベースのモデルによる剛性/非剛性）。
• Chamfer DistanceとGaussian Mixture Model (GMM) の尤度を用いて変換後のソースとターゲットを比較する統計的整列損失を採用する。
• Adamオプティマイザでエンドツーエンドにトレーニングし、GMM/σパラメータを徐々にアニーリングする粗→細スキームを用いる。
• 参照グリッド、MLP層の次元、ネットワークアーキテクチャの詳細を含む訓練設定を記述する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのモデルは、未見の点集合に対して反復最適化なしで非剛性変換を直接予測できるだろうか？
• RQ2 点群の不規則な構造を登録パターンの学習のためにどのように効果的に表現できるか？
• RQ3 ノイズ・外れ値・不完全性の下で頑健な対齐を可能にする表現（形状記述子と相関テンソル）は何か？
• RQ4 従来の非学習型登録手法と比べて、速度と精度はどうか？

主な発見

• 訓練後、新しい点集合のペアに対して幾何変換を直接予測でき、ペアごとの最適化を回避できる。
• 10k 2Dの魚の点集合ペアで、PR-Netは約13分で学習し、約8秒でテストし、Chamfer DistanceはCPDと同程度（学習時0.0037、テスト時0.0044、CPD約0.0038）。
• 変形レベルが約1.0までの間、PR-Netは低いChamfer Distanceを維持（例：2Dの魚で変形0.3–1.0時 CD ≈0.015–0.016）。
• データの不完全性、点のドリフト、外れ値に対する頑健性を示し、ノイズ・欠損が高まるまではCDが低いまま（例：D.I. up to 0.6、D.O. up to 0.3）。
• CPDベースラインと比較して、登録が格段に高速（数秒対数時間）、一般化がより安定（CDの標準偏差が小さい）。
• 手、骨格、頭蓋、顔、猫など、さまざまな2D/3D形状に対して一般化し、中程度の変形下でも一貫した性能を示す。