[論文レビュー] A survey on real-time 3D scene reconstruction with SLAM methods in embedded systems

Quentin Picard, Stéphane Chevobbe+2 more|arXiv (Cornell University)|Sep 11, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本調査では、ドローンやAR/VRデバイスなどのリソース制約のあるプラットフォームを想定し、組み込みシステム上でビジュアルインertialSLAMを用いたリアルタイム3Dシーン再構築について包括的な分析を提示する。精度、リアルタイム性能、メモリ使用量、消費電力の間のトレードオフを評価し、FPGAやSoCにおけるメッシュおよびボクセルベースの再構築のためのハードウェア・ソフトウェア共同最適化戦略を強調している。実現可能なフレームレートは最大90FPS、遅延は100ms未満であることが実証済みである。

ABSTRACT

The 3D reconstruction of simultaneous localization and mapping (SLAM) is an important topic in the field for transport systems such as drones, service robots and mobile AR/VR devices. Compared to a point cloud representation, the 3D reconstruction based on meshes and voxels is particularly useful for high-level functions, like obstacle avoidance or interaction with the physical environment. This article reviews the implementation of a visual-based 3D scene reconstruction pipeline on resource-constrained hardware platforms. Real-time performances, memory management and low power consumption are critical for embedded systems. A conventional SLAM pipeline from sensors to 3D reconstruction is described, including the potential use of deep learning. The implementation of advanced functions with limited resources is detailed. Recent systems propose the embedded implementation of 3D reconstruction methods with different granularities. The trade-off between required accuracy and resource consumption for real-time localization and reconstruction is one of the open research questions identified and discussed in this paper.

研究の動機と目的

• リソース制約のある組み込みプラットフォームにおけるビジュアルインエスタシャルSLAMを用いたリアルタイム3Dシーン再構築の実装を分析すること。
• 組み込みSLAMシステムにおける精度、計算コスト、メモリ使用量、消費電力の間のトレードオフを評価すること。
• 低消費電力ハードウェアにループクロージャー、ディープラーニング、高解像度再構築（メッシュ/ボクセル）を実装する際の未解決の課題を特定すること。
• FPGA、SoC、COTSプラットフォームにおける3D再構築パイプラインのハードウェア最適化実装を調査すること。
• 高リソースを要するアルゴリズム開発と実世界の組み込みデプロイメントの間のギャップを特定することで、今後の研究を導くこと。

提案手法

• センサ入力（カメラ、IMU）から3D再構築までの従来のSLAMパイプラインをレビューし、特徴抽出、オドメトリ、マッピングの各ステージを含む。
• スパarsなポイントクラウド、サーフェル、メッシュ、ボクセルベースのボリュメトリック表現を用いたビジュアルインエスタシャルSLAM手法を評価する。
• FPGAおよびSoC実装によるハードウェア加速技術を分析し、組み込みプラットフォームにおけるリアルタイム性能を実現する。
• CPUが制御およびハイレベル論理を担当する一方で、計算負荷の高いタスク（例：レイキャスティング、最適化）をハードウェアアクセラレータにオフロードする共同設計戦略を検討する。
• Intel NUC、ZCU102 FPGA、DE1/DE5ボードなどのプラットフォーム上でFLaME（メッシュ）およびVoxblox（ボクセル）の実装を比較し、パフォーマンスと精度のトレードオフを分析する。
• 特にハイブリッドモデルベースおよび学習ベースのSLAMパイプラインにおける特徴検出および記述のためのディープラーニングの統合を検討する。

実験結果

リサーチクエスチョン

• RQ1 限られた電力、メモリ、計算リソースを持つ組み込みシステムで、SLAMを用いたリアルタイム3D再構築を達成する際の主な課題は何か？
• RQ2 ポイントクラウド、メッシュ、ボクセルといった異なる3D表現の粒度は、組み込みSLAMにおける精度とリソース消費にどのように影響するか？
• RQ3 レイトキャスティングや最適化といった複雑な再構築タスクにリアルタイム性能を実現するためのハードウェアアクセラレーション戦略（例：FPGA、SoC）は何か？
• RQ4 リソース制約を超えないように、ディープラーニングを組み込みSLAMパイプラインに効果的に統合する方法は何か？
• RQ5 リソース制約のある組み込みSLAMシステムにおいて、ループクロージャー機能と計算コストのトレードオフは何か？

主な発見

• FLaMEメッシュ再構築手法は、320×256解像度のカメラを60FPSで使用するIntel Skull Canyon NUC上で90FPSを超える高いリアルタイム性能を達成した。
• i7プロセッサとステレオカメラを搭載したMAV上でVoxbloxベースの再構築を実行した場合、システム全体の計算時間は250ms未満に抑えられ、リアルタイム動作が可能となった。
• Xilinx ZCU102 FPGA上では、KinectFusionが320×240入力で27.5FPSで動作したが、最適化のトレードオフにより、シーケンス全体で精度が0.018mから0.08mに低下した。
• InfiniTAMはハイエンドのDE5 PCIeボードでは44FPS、低価格のDE1 FPGAでは2FPSで動作し、利用可能なハードウェアリソースに強く依存することが示された。
• 本研究では、MAVやハードウェアアクセラレーションを用いたメッシュおよびボクセルベースの再構築手法が実際にデプロイされた事例はごくわずかであることが判明し、組み込みデプロイメントにおける研究ギャップが浮き彫りになった。
• 本研究では、特に低消費電力の組み込みシステムにおいて、高い計算負荷を要するため、ループクロージャー統合が依然として主要な課題であると特定した。