[論文レビュー] PointNetLK: Robust & Efficient Point Cloud Registration using PointNet

Yasuhiro Aoki, Hunter Goforth+2 more|arXiv (Cornell University)|Mar 13, 2019

3D Surveying and Cultural Heritage参考文献 45被引用数 16

ひとこと要約

PointNetLK は、ロバストで効率的な点群登録を実現するため、PointNet を変更されたルーカス＝カナンデ（Lucas-Kanade）アルゴリズムと統合した微分可能でエンド・トゥ・エンドで学習可能なフレームワークを提案する。PointNet を学習可能な画像関数として再解釈し、畳み込み勾配に依存しないように LK を変更することで、最先端の精度、形状カテゴリ間の一般化性能、O(n) の計算複雑性を達成した。これは ICP や他の深層学習ベースの手法よりも初期化のロバスト性と効率性において優れている。

ABSTRACT

PointNet has revolutionized how we think about representing point clouds. For classification and segmentation tasks, the approach and its subsequent extensions are state-of-the-art. To date, the successful application of PointNet to point cloud registration has remained elusive. In this paper we argue that PointNet itself can be thought of as a learnable "imaging" function. As a consequence, classical vision algorithms for image alignment can be applied on the problem - namely the Lucas & Kanade (LK) algorithm. Our central innovations stem from: (i) how to modify the LK algorithm to accommodate the PointNet imaging function, and (ii) unrolling PointNet and the LK algorithm into a single trainable recurrent deep neural network. We describe the architecture, and compare its performance against state-of-the-art in common registration scenarios. The architecture offers some remarkable properties including: generalization across shape categories and computational efficiency - opening up new paths of exploration for the application of deep learning to point cloud registration. Code and videos are available at https://github.com/hmgoforth/PointNetLK.

研究の動機と目的

• PointNet を点群登録に応用する課題に取り組むこと。これは分類やセグメンテーションにおいて成功を収めたが、登録には依然として未解決の課題であった。
• 古典的なルーカス＝カナンデ（Lucas-Kanade）アルゴリズムを、局所的な空間的勾配を欠く、順序付けられていないグリッドでない表現である PointNet の特徴表現に適応させること。
• PointNet と LK のコンポonent を一括してアンロールし、エンド・トゥ・エンド最適化が可能な完全に微分可能な再帰的ニューラルネットワークアーキテクチャを構築すること。
• 新しいオブジェクトタイプの微調整を必要とせずに、多様な形状やカテゴリにわたるロバストな登録を達成すること。
• 点対応計算や CPU 依存の ICP イテレーションを回避することで、計算効率を向上させ、GPU での高速化を可能にすること。

提案手法

• 順序付けられていない点群を固定次元の特徴ベクトルにマップする学習可能な画像関数として PointNet を再解釈し、画像アライメント技術の適用を可能にする。
• 変換パラメータの無限小の摂動を用いてヤコビ行列を解析的に計算することで、畳み込み勾配推定を回避するようにルーカス＝カナンデ（Lucas-Kanade）アルゴリズムを修正する。
• 修正された LK アルゴリズムを PointNet アーキテクチャ内に再帰モジュールとして統合し、統合的で微分可能なネットワークである PointNetLK を構築する。
• 剛体運動を表すためのツイストパラメータライゼーション（例：SE(3) のリー代数）を用い、残差誤差の勾配降下により段階的更新を計算する。
• 2.5D の設定では、学習中の微分可能性を保つために可視点マスクを適用するが、推論時にはそれを削除する。
• 変換されたソース点群とターゲット点群の特徴の差の L2 ノルムに基づく損失関数を用いて、ツイストパラメータの収束に基づく早期停止を伴い、エンド・トゥ・エンドでネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 空間的勾配に依存せずに、グリッドでない非畳み込み的特徴表現である PointNet と組み合わせて、ルーカス＝カナンデ（Lucas-Kanade）アルゴリズムを適応可能にすることができるか？
• RQ2 PointNet と修正された LK アルゴリズムを一つの再帰的ニューラルネットワークにアンロールすることで、エンド・トゥ・エンドで微分可能な点群登録が可能になり、ロバスト性が向上するか？
• RQ3 学習時に使用されたオブジェクトタイプのサブセットのみで学習した場合でも、未学習の形状やカテゴリに一般化できるか、PointNetLK フレームワークは微調整なしに機能するか？
• RQ4 ICP や他の深層学習ベースの登録手法と比較して、PointNetLK の正確性、初期化に対するロバスト性、計算効率はどの程度か？
• RQ5 アーキテクチャがアライメントプロセスを暗黙的にモデル化しているため、初期姿勢が真値から大きく離れている場合でも、グローバル最適なアライメントを達成できるか？

主な発見

• PointNetLK は ModelNet および S3DIS データセットで最先端の登録精度を達成し、ICP や他の深層学習ベースのベースラインと比較して顕著に低い誤差を示した。
• この手法は形状カテゴリ間で一般化する：トレーニング時に見られなかったスタンフォード・バニーと別の機体モデルに対しても、形状の変動に強くロバストに登録できた。
• PointNetLK はグローバル収束を示す：回転実験では、コスト関数は正しい 180° の姿勢でグローバル最小値を示したが、ICP のコスト関数は 180° に偽の最小値を示しており、最適化のためのより良いランドスケープを示している。
• ICP の O(n²) 複雑性とは対照的に、点群の点数に比例して線形にスケーリング（O(n)）するため、非常に効率的でリアルタイム応用に適している。
• ノイズが多い、または部分的に可視なデータ（例：2.5D スキャン）に対して微調整を施すと、性能が顕著に向上し、最適な結果を得るには 300〜400 エポックの学習が必要だった。
• このフレームワークは完全に微分可能であり、GPU で効率的に実行可能で、ICP の CPU 依存バージョンとは異なり、大規模な深層学習パイプラインへのシームレスな統合が可能である。