[論文レビュー] SLAMBench2: Multi-Objective Head-to-Head Benchmarking for Visual SLAM

Bruno Bodin, Harry Wagstaff+10 more|arXiv (Cornell University)|Aug 21, 2018

Robotics and Sensor-Based Localization参考文献 29被引用数 16

ひとこと要約

SLAMBench2 は、公開可能で拡張可能なベンチマーキングフレームワークであり、多様なデータセット、アルゴリズム、ハードウェアプラットフォーム across で視覚的 SLAM システムの再現可能でマルチオブジェクティブな比較を可能にする。8 つの最先端の SLAM アルゴリズム（例：ORB-SLAM2、KinectFusion、ElasticFusion、InfiniTAM）を標準化された指標（正確性（ATE）、メモリ使用量、実行時間）を用いてサポートし、ORB-SLAM2 が CPU 僅用のプラットフォーム上で 30 cm の平均 ATE と 2 倍の速度を達成するなど、重要なトレードオフを明らかにする。

ABSTRACT

SLAM is becoming a key component of robotics and augmented reality (AR) systems. While a large number of SLAM algorithms have been presented, there has been little effort to unify the interface of such algorithms, or to perform a holistic comparison of their capabilities. This is a problem since different SLAM applications can have different functional and non-functional requirements. For example, a mobile phonebased AR application has a tight energy budget, while a UAV navigation system usually requires high accuracy. SLAMBench2 is a benchmarking framework to evaluate existing and future SLAM systems, both open and close source, over an extensible list of datasets, while using a comparable and clearly specified list of performance metrics. A wide variety of existing SLAM algorithms and datasets is supported, e.g. ElasticFusion, InfiniTAM, ORB-SLAM2, OKVIS, and integrating new ones is straightforward and clearly specified by the framework. SLAMBench2 is a publicly-available software framework which represents a starting point for quantitative, comparable and validatable experimental research to investigate trade-offs across SLAM systems.

研究の動機と目的

• 不一致なインターフェース、データセット、ハードウェア、パラメータ設定による、視覚的 SLAM システムの標準化、比較可能で再現可能な評価の欠如に対処するため。
• SLAM アルゴリズムを比較するための重複したエンジニアリング作業を削減するため、統一的で即席のベンチマーキング環境を提供するため。
• オープンソースおよびプロprietary SLAM システム間で公平で定量的かつ検証可能な性能比較を可能にするため。
• 明確に定義された API を通じて、最小限の作業で新しいアルゴリズムやデータセットを統合できる拡張性をサポートするため。
• 多様な SLAM システムとプラットフォーム across で正確性、メモリ消費量、計算効率のトレードオフを分析可能にするため。

提案手法

• フレームワークは、複数の SLAM アルゴリズムを標準化された API を通じてサポートするモジュラーでデータセットに依存しないアーキテクチャを提供し、異なるシステム間で一貫した評価を可能にする。
• 8 つの最先端の SLAM アルゴリズム（例：スパars（例：ORB-SLAM2、PTAM）、半密度（例：InfiniTAM）、密度（例：KinectFusion、ElasticFusion））のサポートを統合している。
• 絶対軌道誤差（ATE）、メモリ消費量、実行時間の 3 つのコアメトリクスを用いて、ICL-NUIM や TUM シーケンスを含む 8 つのデータセットで評価が実施される。
• フレームワークは CPU および GPU 実行をサポートし、メトリクスの変動を可視化するためにヴァイオリンプロットが使用される。
• 新しいアルゴリズムは、ORB-SLAM2 に約 350 行のコードが必要な軽量ライブラリインタフェースを介して統合される。これはパラメータ宣言と設定関数を含む。
• 同じ入力フォーマット、キャリブレーション、パラメータ設定をアルゴリズム間で保証することで、頭から頭への比較が可能になり、設定バイアスを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットとハードウェアプラットフォーム across で、異なる視覚的 SLAM アルゴリズムは正確性、メモリ使用量、実行時間の観点でどのように比較されるか？
• RQ2 最先端の SLAM システムにおいて、計算効率と局所化正確性の間のトレードオフは何か？
• RQ3 アーキテクチャの変更なしに、パラメータチューニングが性能をどの程度向上できるか、そしてその効果はアルゴリズムごとにどのように異なるか？
• RQ4 CPU に基づく SLAM システム（例：ORB-SLAM2）は、GPU アクセelerated システム（例：KinectFusion や ElasticFusion）と比較して、性能面でどの程度差があるか？
• RQ5 統一されたベンチマーキングフレームワークは、SLAM システムを比較するためのエンジニアリングオーバーヘッドを削減できるか、かつ再現可能性と妥当性を保証できるか？

主な発見

• ORB-SLAM2 は複数のデータセットで平均 30 cm の絶対軌道誤差（ATE）を達成し、CPU 僅用のプラットフォームでも強力な正確性を示している。
• KinectFusion と InfiniTAM は静的メモリ消費量を示すが、ORB-SLAM2 のメモリ使用量はすべてのデータセットで 300 MB 以内に制限されている。
• ElasticFusion は最大 30 cm のドリフトで優れた正確性を示し、特定のデータセットでは最大 60 cm のドリフトを示す KinectFusion や InfiniTAM を上回っている。
• TK1 プラットフォームでは、ORB-SLAM2 は CPU 動作であるにもかかわらず、KinectFusion よりもわずかに 2 倍の遅さにとどまり、CPU 最適化ソリューションとしての効率性を示している。
• パラメータチューニングにより、デフォルト設定比で最大 8 倍の高速化が達成可能であり、設定最適化による顕著な性能ポテンシャルを示している。
• フレームワークにより、8 データセットおよび 3 メトリクス across で SLAM システムの直接的で公平な比較が可能となり、ORB-SLAM2 が CPU プラットフォームで正確性と速度の良好なトレードオフを提供していることが明らかになった。