[論文レビュー] SOE-Net: A Self-Attention and Orientation Encoding Network for Point Cloud based Place Recognition

Yan Xia, Yusheng Xu+5 more|arXiv (Cornell University)|Nov 24, 2020

Robotics and Sensor-Based Localization参考文献 38被引用数 14

ひとこと要約

SOE-Net は、3次元点群に基づく場所認識のための新規エンドツーエンドディープラーニングフレームワークであり、方向に敏感な局所特徴符号化を実装する PointOE モジュールと、局所記述子間の長距離依存関係をモデル化する自己注意ユニットを統合している。新規の HPHN 4重損失を用いることでメトリック学習が向上し、オックスフォード RobotCar データセットでトップ1のリCALLが 89.37% に達し、最先端の性能を達成した。

ABSTRACT

We tackle the problem of place recognition from point cloud data and introduce a self-attention and orientation encoding network (SOE-Net) that fully explores the relationship between points and incorporates long-range context into point-wise local descriptors. Local information of each point from eight orientations is captured in a PointOE module, whereas long-range feature dependencies among local descriptors are captured with a self-attention unit. Moreover, we propose a novel loss function called Hard Positive Hard Negative quadruplet loss (HPHN quadruplet), that achieves better performance than the commonly used metric learning loss. Experiments on various benchmark datasets demonstrate superior performance of the proposed network over the current state-of-the-art approaches. Our code is released publicly at https://github.com/Yan-Xia/SOE-Net.

研究の動機と目的

• 大規模な3次元点群に基づく場所認識における、ロバストで判別力のあるグローバル記述子学習の課題に取り組むこと。
• 各点とその近傍点間の幾何的関係を方向に敏感な符号化によってモデル化することで、局所特徴表現を向上させること。
• グローバル記述子集約のための局所記述子間の長距離文脈的依存関係を捉えること。
• 大規模なリtrieval タスクにおいて、ポジティブペアとネガティブペアをよりよく区別できる、より効果的なメトリック学習損失関数を開発すること。
• 生の3次元点群から、コンactで判別力のあるグローバル記述子を得るためのエンドツーエンド学習を達成すること。

提案手法

• 各点の周囲の8つの異なる方向からの局所幾何的特徴を符号化する PointOE モジュールを導入し、多方向の近傍コンテキストを捉える。
• 局所記述子の空間的関係に基づいて動的に重み付けを行う自己注意ユニットを採用し、特徴空間における長距離依存関係をモデル化する。
• PointOE と自己注意を組み合わせたエンドツーエンドのネットワークアーキテクチャを構築し、局所特徴抽出とグローバル記述子集約を統合的に実行する。
• ハードポジティブペア間の距離を最大化し、ハードネガティブペア間の距離を最小化することで一般化性能を向上させる、新規の HPHN 4重損失を提案する。
• グローバル記述子のリtrieval タスク最適化を目的とした、HPHN 4重損失を用いたマルチステージトレーニングパイプラインを採用する。
• 初期の局所特徴学習を PointNet ベースのバックボーンと多層パーセプトロンを用い、方向に敏感な符号化と注目機構で強化する。

実験結果

リサーチクエスチョン

• RQ1 方向に敏感な局所特徴符号化は、3次元点群記述子の判別力向上に寄与するか？
• RQ2 自己注意機構は、局所記述子間の長距離依存関係を効果的にモデル化し、グローバル記述子の質を向上させることができるか？
• RQ3 提案された HPHN 4重損失は、標準的なメトリック学習損失関数よりも優れた一般化性能とリtrieval 性能を達成するか？
• RQ4 PointOE と自己注意の組み合わせは、PointNetVLAD や PCAN などの既存アーキテクチャに比べ、大規模リtrieval において優れた性能を示すか？
• RQ5 実世界の点群リtrieval において、HPHN 損失の最適なグローバル記述子次元とマージン値は何か？

主な発見

• SOE-Net はオックスフォード RobotCar データセットでトップ1リCALLが 89.37% に達し、以前の最先端手法を上回った。
• HPHN 4重損失は、ラジオロスの4重損失と比較してトップ1リCALLを 5.17 パcentポイント向上させ、オックスフォード RobotCar で 89.37% を達成した。
• PointOE モジュール単体でも、ベースラインの PointNetVLAD と比較してトップ1%の平均リCALLが 12.40% 向上し、トップ1では 21.44% 向上した。
• 自己注意ユニットは顕著な貢献を示し、アブレーションスタディでは PointOE モジュールに追加することでトップ1リCALLが 1.21% 向上した。
• SOE-Net は異なる記述子次元でも強力な性能を維持しており、256次元から128次元に削減しても1%〜3%の低下にとどまった。
• HPHN 4重損失の最適なマージン値は 0.5 であり、この値を上回るか下回る値では性能が劣化した。