[論文レビュー] A metric for evaluating 3D reconstruction and mapping performance with no ground truthing

Guoxiang Zhang, YangQuan Chen|arXiv (Cornell University)|Jan 25, 2021

Robotics and Sensor-Based Localization参考文献 16被引用数 4

ひとこと要約

本論文では、LiDAR やモーショントラジェクトリなどの高価で入手困難な真値データを必要としない、3D再構築およびSLAM性能を評価するための新規指標Dense Map Posterior (DMP) を提案する。センサ観測値と再構築された地図に基づく尤度比を計算することで、SMD やトラジェクトリのRMSE といった真値指標と強い相関を示し、信頼性の高い自己教師あり評価およびループ検出のフィルタリングを可能にする。

ABSTRACT

It is not easy when evaluating 3D mapping performance because existing metrics require ground truth data that can only be collected with special instruments. In this paper, we propose a metric, dense map posterior (DMP), for this evaluation. It can work without any ground truth data. Instead, it calculates a comparable value, reflecting a map posterior probability, from dense point cloud observations. In our experiments, the proposed DMP is benchmarked against ground truth-based metrics. Results show that DMP can provide a similar evaluation capability. The proposed metric makes evaluating different methods more flexible and opens many new possibilities, such as self-supervised methods and more available datasets.

研究の動機と目的

• LiDAR やモーショントラジェクトリなどの高価で入手困難な真値データを必要とせずに、3D再構築およびSLAMシステムの評価の課題に対処すること。
• 外部の真値に依存せずに、センサ観測値と再構築された地図のみを用いて信頼性の高い性能評価が可能な指標を開発すること。
• 大規模な実世界データセット作成および3Dマッピングにおける自己教師あり学習を支援する、スケーラブルで自己教師ありの評価フレームワークを提供すること。
• マップの一貫性に基づいてループ候補をランク付けすることで、SLAMパイプラインにおける誤検出の少ない堅牢なループクロージャー評価を可能にすること。

提案手法

• ベイズの定理を用いて、センサ観測値が与えられたもとでのマップ一貫性のベイズ推定として、密度マップ事後確率（DMP）を定式化する。
• 各3Dポイントまたは深度ピクセルについて、平均がゼロで分散が既知のガウス尤度の積を用いて、2つのマップ仮説間の対数尤度比（LLR）を計算する。
• カメラ投影モデルやLiDARの距離・方位角モデルなどのセンサモデルを用いて、再構築されたマップとトラジェクトリから期待される観測値を予測する。
• 指標を負の対数尤度として定義する：r(M, Z) = -log p(Z|M)。この値が低いほどマップの一貫性が高くなるスコアとなる。
• 現代のGPU上で効率的な評価を実現するため、CUDAおよびOpenGLを用いて並列計算を可能にする。1データセットあたり5秒未満の評価時間を達成する。
• 各候補ループを追加した後に統合されたサーフェルモデルの整合性を評価することで、DMPを用いてループクロージャーをランク付けする。

実験結果

リサーチクエスチョン

• RQ1 真値データを必要とせずに、3D再構築およびSLAM性能を評価できる自己教師あり指標を開発できるか？
• RQ2 提案されたDMPは、SMD やトラジェクトリのRMSE といった標準的な真値ベース指標とどの程度相関しているか？
• RQ3 DMPは、SLAMシステムにおける誤検出の多いループクロージャーを効果的にランク付けおよびフィルタリングできるか？
• RQ4 DMPが真値指標と一致しない状況はどのようなものであり、それらはどのように緩和できるか？

主な発見

• DMPは真値指標と強い正の相関を示す。テストされたデータセット全体でSMDとの相関係数は0.93、トラジェクトリのRMSEとの相関係数は0.91である。
• 本指標は、不良な再構築を効果的に特定できる。例えば、崩壊したモデルではDMP = 2254.0 である一方、高品質な再構築では14.9のスコアを示す。
• ループクロージャー評価において、DMPは高い精度のランク付けを達成しており、再現率が100％に達するまで精度が90％以上を維持している。これは、誤検出の効果的なフィルタリングを示している。
• 計算効率が高く、NVIDIA Titan X PascalでTUMデータセットを2.7秒、ICL-NUIMデータセットを4.2秒で評価できる。
• 外れ値の主な原因は、カバーが疎でループのないシーケンスである。重複するスキャンを追加することで、この問題は解消される。
• DMPにより、真値データへの依存を排除することで、自己教師あり学習および大規模な実世界データセットの作成が可能になる。