[論文レビュー] eSLAM: An Energy-Efficient Accelerator for Real-Time ORB-SLAM on FPGA Platform

Runze Liu, Jianlei Yang+2 more|arXiv (Cornell University)|Jun 3, 2019

Robotics and Sensor-Based Localization参考文献 9被引用数 5

ひとこと要約

eSLAM は、特徴抽出とマッチングを最適化する、ハードウェアにやさしい回転対称型 BRIEF ディスクリプタを備えた、非均質な FPGA ベースのアクセラレータを提案する。TUM データセットにおいて、Intel i7 に対して最大 3× の高速化と 71× のエネルギー効率向上を達成し、ARM Cortex-A9 に対しては 31× の高速化と 25× のエネルギー効率向上を達成した。

ABSTRACT

Simultaneous Localization and Mapping (SLAM) is a critical task for autonomous navigation. However, due to the computational complexity of SLAM algorithms, it is very difficult to achieve real-time implementation on low-power platforms.We propose an energy efficient architecture for real-time ORB (Oriented-FAST and Rotated- BRIEF) based visual SLAM system by accelerating the most time consuming stages of feature extraction and matching on FPGA platform.Moreover, the original ORB descriptor pattern is reformed as a rotational symmetric manner which is much more hardware friendly. Optimizations including rescheduling and parallelizing are further utilized to improve the throughput and reduce the memory footprint. Compared with Intel i7 and ARM Cortex-A9 CPUs on TUM dataset, our FPGA realization achieves up to 3X and 31X frame rate improvement, as well as up to 71X and 25X energy efficiency improvement, respectively.

研究の動機と目的

• ドローンやモバイルロボットなどの組み込みプラットフォームで、リアルタイムかつ低消費電力のビジュアル SLAM を実現する課題に対処すること。
• ビジュアル SLAM システムにおける ORB 特徴抽出とマッチングの計算ボトルネックを克服すること。
• FPGA で高いスループットと小さなメモリフットプリントを実現する、ハードウェア最適化された ORB-SLAM アーキテクチャを設計すること。
• ARM や Intel プラットフォームの CPU 実装と比較して、エネルギー効率とフレームレートを向上させること。
• FPGA アクセラレーションを通じて、リソース制限のある自律システムへの ORB-SLAM の実用的導入を可能にすること。

提案手法

• ハードウェアにやさしい実装を促進し、FPGA 上での実装を簡素化するため、BRIEF ディスクリプタを回転対称パターンに再定式化する。
• スループットを最大化し、遅延を最小限に抑えるために、パイプライン化・並列化・リスケジューリングされたデータフローを実装する。
• 最も計算負荷の高い段階である特徴抽出とマッチングを FPGA アクセラレータにオフロードし、ポーズ推定とマップ更新は ARM プロセッサで実行する。
• データフローのリスケジューリングと並列処理を通じて、メモリアクセスパターンを最適化し、メモリフットプリントを削減する。
• スケール不変性を実現するための 4 層の画像ピラミッドを採用し、追加の画像層をハードウェアに配慮した形で処理することで、性能を維持する。
• Zynq FPGA プラットフォーム上に、ARM プロセッシングと FPGA アクセラレーションを統合した非均質なシステムとしてアクセラレータを統合し、エンドツーエンドのリアルタイム SLAM を実現する。

実験結果

リサーチクエスチョン

• RQ1 低消費電力な FPGA プラットフォーム上で、ORB-SLAM をどのように効率的に高速化すれば、リアルタイム性能を達成できるか？
• RQ2 ORB ディスクリプタのパターンにどのようなハードウェアにやさしい変更を加えると、計算複雑性を顕著に低減し、FPGA 実装の効率を向上させられるか？
• RQ3 リスケジューリングと並列化は、FPGA 上の ORB-SLAM パイプラインにおいて、スループットの向上とメモリフットプリントの削減にどの程度寄与するか？
• RQ4 提案された eSLAM アクセラレータは、ARM および Intel プラットフォーム上の CPU 実装と比較して、フレームレートとエネルギー効率でどの程度優れているか？
• RQ5 非均質な FPGA-ARM アーキテクチャは、運動や照明の変化に対して頑健である一方で、リアルタイム SLAM を高いエネルギー効率で達成できるか？

主な発見

• eSLAM は TUM データセットにおいて、通常フレームで 55.87 fps、キーフレームで 31.45 fps のフレームレートを達成し、ARM Cortex-A9 に対して 31× の高速化、Intel i7 に対して最大 3× の高速化を実現した。
• 1 フレームあたりの消費電力は、ARM に対して 25× 減少し、Intel i7 に対しては 71× 減少し、優れたエネルギー効率を示した。
• eSLAM における特徴抽出遅延は 9.1 ms にまで短縮され、ARM に対して 32×、Intel i7 に対して 3.6× の改善を達成した。
• eSLAM における特徴マッチング遅延は 4.0 ms にまで短縮され、ARM に対して 61.6×、Intel i7 に対して 4.9× の改善を達成した。
• 拡張された画像ピラミッドにより処理対象のピクセル数が 48% 増加したにもかかわらず、eSLAM の特徴抽出遅延は、ハードウェアに配慮した最適化のおかげで、先行する FPGA ORB 抽出器と比較して 39% 低かった。
• 提案された回転対称型 BRIEF パターンにより、より効率的なハードウェアマッピングが可能となり、複雑性が低減され、スループットが向上したが、ディスクリプタの頑健性に影響を与えることなく実現された。