[論文レビュー] Coherent Point Drift Networks: Unsupervised Learning of Non-Rigid Point Set Registration

Wang, Lingjing, Li, Xiang+2 more|arXiv (Cornell University)|Jun 7, 2019

Robotics and Sensor-Based Localization参考文献 58被引用数 18

ひとこと要約

本論文では、反復的最適化を排除する1回のフォワードパスで非剛性幾何変換を予測できる深層学習フレームワーク、Coherent Point Drift Networks (CPD-Net) を提案する。理論的連続性保証を持つ学習可能な連続的デフォーメーション場を活用することで、CPD-Net は 2D/3D の合成および実世界データセットにおいて、反復的手法（例：CPD）と比較して速度で数個のオーダーも上回るリアルタイム推論を達成し、高い精度と一般化性能を実現した。

ABSTRACT

Given new pairs of source and target point sets, standard point set registration methods often repeatedly conduct the independent iterative search of desired geometric transformation to align the source point set with the target one. This limits their use in applications to handle the real-time point set registration with large volume dataset. This paper presents a novel method, named coherent point drift networks (CPD-Net), for the unsupervised learning of geometric transformation towards real-time non-rigid point set registration. In contrast to previous efforts (e.g. coherent point drift), CPD-Net can learn displacement field function to estimate geometric transformation from a training dataset, consequently, to predict the desired geometric transformation for the alignment of previously unseen pairs without any additional iterative optimization process. Furthermore, CPD-Net leverages the power of deep neural networks to fit an arbitrary function, that adaptively accommodates different levels of complexity of the desired geometric transformation. Particularly, CPD-Net is proved with a theoretical guarantee to learn a continuous displacement vector function that could further avoid imposing additional parametric smoothness constraint as in previous works. Our experiments verify the impressive performance of CPD-Net for non-rigid point set registration on various 2D/3D datasets, even in the presence of significant displacement noise, outliers, and missing points. Our code will be available at https://github.com/nyummvc/CPD-Net.

研究の動機と目的

• 各新しい点集合ペアごとに再最適化を繰り返す反復的点集合登録手法の計算ボトルネックを解消すること。
• 訓練データから一般化し、未観測の点集合ペアの幾何変換を予測できる深層学習ベースの手法を開発すること。
• 手作業で設計された滑らかさ制約の必要性をなくすために、理論的に連続的なデフォーメーション場を保証すること。
• 反復的最適化を1つのニューラルネットワーク推論に置き換えることで、大規模またはストリーミング点群データにおけるリアルタイム登録を可能にすること。

提案手法

• CPD-Net は、入力点集合の両方のグローバル形状記述子を学習するために、多層パーセプトロン（MLP）を用いる。
• 入力点座標と、ソースおよびターゲット点集合のグローバル記述子を連結することで、幾何変換記述子を構築する。
• 3段の連続するMLPを用いて、変換記述子から連続的デフォーメーションベクトル場を学習し、入力点座標とグローバルコンテキストの関数として非剛性変形をモデル化する。
• 変換されたソース点集合とターゲット点集合の間の距離を測定する微分可能で整合性損失を用いて、ネットワークをエンドツーエンドで訓練する。
• 予測されたデフォーメーション場の理論的連続性を保証するようにアーキテクチャを設計し、明示的なパラメトリックな滑らかさ正則化の必要性を回避する。
• 教師なしで動作し、訓練中に真値変換を必要とせず、整合性損失のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化を一切行わず、非剛性幾何変換を予測できる深層ニューラルネットワークは構築可能か？
• RQ2 ノイズ、外れ値、欠損データに対して高い精度と耐性を示し、未観測の点集合ペアにも一般化可能か？
• RQ3 明示的な滑らかさ制約を課さなくても、ネットワークが予測するデフォーメーション場は連続性を保っているか？
• RQ4 CPD や他の反復的ベースラインと比較して、大規模データセットでもリアルタイム推論が可能か？

主な発見

• テストセットにおいて、CPD-Net は Chamfer Distance (C.D.) 0.0028 を達成した。CPD の 0.0026 と同等の精度であり、20,000 ペアの処理で 15 秒（CPD は 22 時間）と 800 倍速い。
• ShapeNet チェアデータセットでは、CPD-Net は 40 秒で登録完了したが、CPD は 4 時間を要した。さらに、質的評価でも顕著に優れた一致結果を示した。
• モデルは未観測データに対しても良好に一般化し、テストセットと訓練セットでほぼ同等の性能を示した。これは強力な一般化能力を示している。
• 理論的分析により、CPD-Net が連続的デフォーメーション場を学習していることが確認された。これにより、従来手法で必須であった手作業による滑らかさ制約の必要性が根本的に回避された。
• 実世界の 3D 形状に対する質的結果では、CPD が失敗する複雑な非剛性変形に対しても、CPD-Net が成功裏に一致を達成した。真値変換がなくても同様に有効であった。
• さまざまな 2D および 3D データセットにおいて、大きなノイズ、外れ値、欠損点に対しても高い一致精度を維持し、高い耐性を示した。