[論文レビュー] Generalisable and distinctive 3D local deep descriptors for point cloud registration.

Fabio Poiesi, Davide Boscaini|arXiv (Cornell University)|May 21, 2021

Robotics and Sensor-Based Localization参考文献 43被引用数 5

ひとこと要約

本稿では、異なるセンサーおよび環境間で一般化可能なスケールおよび回転不変な3次元局所記述子を学習する深層学習ベースの手法を提案する。点群パッチを標準化し、順列不変なネットワークで符号化することで、既存の手作業で設計された記述子や学習された記述子と比較して、クロスセンサー点群登録において最先端の性能を達成した。

ABSTRACT

An effective 3D descriptor should be invariant to different geometric transformations, such as scale and rotation, repeatable in the case of occlusions and clutter, and generalisable in different contexts when data is captured with different sensors. We present a simple but yet effective method to learn generalisable and distinctive 3D local descriptors that can be used to register point clouds captured in different contexts with different sensors. Point cloud patches are extracted, canonicalised with respect to their local reference frame, and encoded into scale and rotation-invariant compact descriptors by a point permutation-invariant deep neural network. Our descriptors can effectively generalise across sensor modalities from locally and randomly sampled points. We evaluate and compare our descriptors with alternative handcrafted and deep learning-based descriptors on several indoor and outdoor datasets reconstructed using both RGBD sensors and laser scanners. Our descriptors outperform most recent descriptors by a large margin in terms of generalisation, and become the state of the art also in benchmarks where training and testing are performed in the same scenarios.

研究の動機と目的

• RGB-Dカメラやレーザースキャナなどの多様なセンサーモダリティ間で一般化可能な3次元局所記述子を開発すること。
• 遮蔽、ごみ、サンプリング密度の変動といった条件下でも記述子の特徴の明確さと再現性を維持する課題に対処すること。
• 点の順列および幾何変換（回転・スケールなど）に対して不変である深層学習フレームワークを設計すること。
• トレーニングデータとテストデータが異なるセンサーや環境から得られるようなクロスコンテキスト登録タスクにおける一般化性能を向上させること。

提案手法

• 局所的な近傍サンプリングを用いて、3次元点群からパッチを抽出する。
• グローバルな回転および平行移動に対して不変性を達成するため、各パッチを局所的基準フレームを用いて標準化する。
• 点の順列不変な深層ニューラルネットワークが、標準化されたパッチをコンパクトで特徴的な記述子に符号化する。
• ネットワークアーキテクチャが点の順序に対して不変であり、スケールおよび回転に対して頑健な記述子を生成するように学習される。
• 一般化性能を向上させるために、局所的かつランダムにサンプリングされた点を活用する。
• 記述子は識別力と不変性を最適化するためにエンドツーエンドで最適化され、多様なデータセット間での有効なマッチングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの記述子は、RGB-Dやレーザースキャナなどの異なるセンサーモダリティ間で、効果的に一般化できるか？
• RQ2 遮蔽やごみの条件下で、提案手法の再現性および特徴の明確さはどの程度か？
• RQ3 順列不変なネットワークアーキテクチャは、非不変なベースラインと比較して、記述子の頑健性をどの程度向上させるか？
• RQ4 トレーニングとテストが異なる環境で実施された場合でも、本手法は最先端の性能を達成できるか？
• RQ5 標準化プロセスは、記述子学習における不変性および一般化にどの程度寄与するか？

主な発見

• 提案された記述子は、クロスセンサー点群登録において最先端の性能を達成し、最近の深層学習および手作業で設計された記述子と比較して、一般化性能において優れている。
• 本手法は遮蔽やごみに対して強く頑健であり、さまざまなシーンやセンサータイプ間で高い記述子再現性を維持している。
• 順列不変なネットワークアーキテクチャにより、ランダムにサンプリングされた局所的点群からの有効な学習が可能となり、多様なデータソース間での一般化性能が向上した。
• トレーニングとテストが異なるシナリオで実施されても、記述子は良好に一般化しており、強力なドメイン転送能力を示している。
• 複数の屋内および屋外データセットにおける定量的評価により、従来手法と比較して、精度および一般化性能の両面で優れた性能が確認された。