[論文レビュー] DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization

Juan Du, Rui Wang+1 more|arXiv (Cornell University)|Jul 17, 2020

Robotics and Sensor-Based Localization参考文献 9被引用数 9

ひとこと要約

本稿では、1回の順伝播で生点群から3次元キーポイント検出、局所特徴記述、グローバル記述子抽出を統合的に実行する統一された深層学習フレームワーク、DH3Dを提案する。FlexConvとシグマ・エクスカーション（Squeeze-and-Excitation）モジュールを統合することで、微調整なしに大規模な6DoF再局所化および視覚SLAMが生成する点群への汎用性を実現し、最先端の性能を達成した。

ABSTRACT

For relocalization in large-scale point clouds, we propose the first approach that unifies global place recognition and local 6DoF pose refinement. To this end, we design a Siamese network that jointly learns 3D local feature detection and description directly from raw 3D points. It integrates FlexConv and Squeeze-and-Excitation (SE) to assure that the learned local descriptor captures multi-level geometric information and channel-wise relations. For detecting 3D keypoints we predict the discriminativeness of the local descriptors in an unsupervised manner. We generate the global descriptor by directly aggregating the learned local descriptors with an effective attention mechanism. In this way, local and global 3D descriptors are inferred in one single forward pass. Experiments on various benchmarks demonstrate that our method achieves competitive results for both global point cloud retrieval and local point cloud registration in comparison to state-of-the-art approaches. To validate the generalizability and robustness of our 3D keypoints, we demonstrate that our method also performs favorably without fine-tuning on the registration of point clouds that were generated by a visual SLAM system. Code and related materials are available at https://vision.in.tum.de/research/vslam/dh3d.

研究の動機と目的

• 大規模3次元再局所化におけるグローバルな場所認識と局所的な6DoFポーズの最適化を統合的に実現し、分離されたパイプライン手法の限界を克服すること。
• ノイズ、回転、ダウンサンプリングに対して不変であるように、生の点群から直接ロバストな3次元局所記述子を学習すること。
• トレーニング中に特徴記述子の特徴的差異度を用いて、教師なしでキーポイント検出のための識別性の高い信頼度マップを学習することで、教師なしキーポイント検出を可能にすること。
• 識別性とロバスト性の両立を実現するグローバル記述子を設計し、多様な大規模シーン間での正確なリトリーブを可能にすること。
• LiDARで学習した記述子が、幾何的分布が異なる視覚SLAMシステムが生成する点群へどの程度汎用可能かを検証すること。

提案手法

• 生の点群から3次元局所特徴検出と記述を同時に学習するために、特徴符号化に共通のバックボーンを用いたシモネスネットワークアーキテクチャを採用する。
• 局所的点近傍における適応的畳み込みカーネルを学習することで、多段階の幾何的コンテキストを捉えるためにFlexConvが用いられる。
• 局所特徴エンコーダーにシグマ・エクスカーション（SE）ブロックを統合し、チャネル間の依存関係をモデル化し、特徴の識別性を向上させる。
• 局所記述子の識別的差異度を教師として、教師なしでキーポイント検出のための信頼度マップをエンドツーエンドで予測する。
• 局所記述子をアテンションメカニズムで集約することでグローバル記述子を生成し、顕著な特徴に重みを付ける。
• 局所記述子損失、検出信頼度損失、グローバル記述子の対照的損失を組み合わせて、パイプライン全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 大規模6DoF再局所化において、1つのディープネットワークが3次元キーポイント検出、局所特徴記述、グローバル記述子学習を統合的に最適化できるか？
• RQ2 FlexConvとシグマ・エクスカーションモジュールの統合は、局所記述子の品質とロバスト性をどの程度向上させるか？
• RQ3 LiDARで学習したモデルが、幾何的分布が異なる視覚SLAMシステムが生成する点群へどの程度汎用可能か？
• RQ4 記述子の識別的差異度に基づく教師なしキーポイント検出は、従来のハンドクラフトまたは学習ベースの検出法を上回る性能を発揮するか？
• RQ5 提案された局所およびグローバル記述子は、実世界のシナリオにおけるノイズ、回転、ダウンサンプリングに対してどの程度ロバストか？

主な発見

• オックスフォード・ロボットカー・データセットでは、回転誤差が0.95°、並進誤差が0.23mで、6DoF登録の成功率が98.49%に達した。
• KITTIベンチマークでは、回転誤差が1.58°、並進誤差が0.36mで、視覚SLAMが生成する点群においてすべてのベースラインを上回り、90.6%の成功率を達成した。
• アブレーションスタディの結果、シグマ・エクスカーションブロックを除去すると成功率が29%低下し、記述子品質の向上にその重要性が確認された。
• ガウスノイズ（σ = 0.15mまで）およびダウンサンプリング要因（α = 1.5まで）の下でも、90%以上の登録成功率を維持し、強いロバスト性を示した。
• グローバル記述子はノイズに対して高いロバスト性（σ = 0.2mまで性能維持）を示したが、回転に対してはやや脆弱であり、回転不変性の向上に余地があることが示唆された。
• 微調整なしにLiDARで学習したモデルは、視覚SLAM点群へも良好に汎用可能であり、KITTIでは90.6%の成功率を達成した。これは、ベースラインが70%未満に低下するのに対し顕著に優れた性能を示した。