[論文レビュー] OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems

Changhee Won, Hochang Seok+3 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Vision and Imaging参考文献 46被引用数 4

ひとこと要約

本稿では、魚眼レンズを用いたワイドベースラインの全方向マルチカメラセットアップを対象として、頑健なビジュアルSLAMおよび高密度マッピングシステムであるOmniSLAMを提示する。360°深度推定のための軽量で高精度な深層ネットワークを導入し、特徴マッチングとループクロージャを改善したビジュアルオドメトリに深度を統合し、TSDFボリュームに統合することで高精細な3D再構成を実現。合成環境および実世界環境の両方で最先端の精度を達成している。

ABSTRACT

In this paper, we present an omnidirectional localization and dense mapping system for a wide-baseline multiview stereo setup with ultra-wide field-of-view (FOV) fisheye cameras, which has a 360 degrees coverage of stereo observations of the environment. For more practical and accurate reconstruction, we first introduce improved and light-weighted deep neural networks for the omnidirectional depth estimation, which are faster and more accurate than the existing networks. Second, we integrate our omnidirectional depth estimates into the visual odometry (VO) and add a loop closing module for global consistency. Using the estimated depth map, we reproject keypoints onto each other view, which leads to a better and more efficient feature matching process. Finally, we fuse the omnidirectional depth maps and the estimated rig poses into the truncated signed distance function (TSDF) volume to acquire a 3D map. We evaluate our method on synthetic datasets with ground-truth and real-world sequences of challenging environments, and the extensive experiments show that the proposed system generates excellent reconstruction results in both synthetic and real-world environments.

研究の動機と目的

• 従来のステレオシステムが全方向センシングにおいて抱える限界、特に視野が狭く盲点があることの解決。
• 超広視野の魚眼レンズを搭載したワイドベースラインの全方向マルチカメラレシオに対して、実用的で効率的かつ高精度な高密度マッピングシステムの開発。
• 軽量な深層ニューラルネットワークを用いて、360°パノラマシーンの深度推定精度と速度を向上。
• 全方向深度をビジュアルオドメトリに統合し、ループクロージングによるポーズ推定の向上とグローバルな一貫性の強化。
• トランケーテッド・サインド・ディスタンス関数（TSDF）ボリュームに深度マップとカメラポーズを統合することで、高品質な3D再構成を実現。

提案手法

• 魚眼画像からの全方向深度推定のための改善され、軽量な深層ニューラルネットワークを提案。従来手法に比べてパラメータ数を削減し、GPUメモリ使用量と推論時間を低減しながらも、精度を向上。
• 推定された深度マップをROVOビジュアルオドメトリフレームワークに統合し、キーポイントを複数視点に再投影することで、視点間の特徴マッチングとトリアングレーションを強化。
• 全方向設定に特化したループクロージングモジュールを実装し、トラジェクトリのドリフトを是正し、グローバルな一貫性を向上。
• トランケーテッド・サインド・ディスタンス関数（TSDF）ボリュームを用いて、全方向深度マップと推定されたレシオポーズを統合し、一貫性のある3D再構成を実現。
• 深度推定の精度を向上させるために、ヒストограм等化やガンマ補正などの画像前処理を実施。特にコントラストが低く、テクスチャが乏しい領域での効果を高める。
• 観測回数フィルタリングを用いたキーフレームベースの統合を採用し、大壁や床などの困難な領域におけるノイズ低減とマップ品質の向上を実現。

実験結果

リサーチクエスチョン

• RQ1 ワイドベースラインの魚眼カメラからの360°深度推定に適した、軽量で高精度な深層ネットワークを開発できるか？その効率性と性能が向上するか？
• RQ2 全方向深度をビジュアルオドメトリに統合することで、複雑な環境下でもポーズ推定の精度と耐障害性がどのように向上するか？
• RQ3 専用のループクロージングモジュールが、全方向SLAMシステムにおけるグローバルな一貫性にどの程度寄与するか？
• RQ4 深度とポーズをTSDFボリュームに統合することで、多様な実世界および合成シーンにおいて高精細な3Dマップがどの程度の品質で得られるか？
• RQ5 提案されたシステムは、リアルタイムでの実装に実用的である一方で、最先端の再構成品質を達成できるか？

主な発見

• 提案されたOmniMVS+およびTiny+ネットワークは、OmniMVS [15] よりも高い精度と高速な推論を達成し、パラメータ数を削減し、GPUメモリ使用量も低減している。
• 深度統合を施したROVO+は、合成および実世界のシーケンスにおいて、ROVO [14] よりも顕著にトラジェクトリのドリフトを低減している。
• ROVO+にループクロージングを追加することで、屋外環境における衛星地図との整合性が向上し、トラジェクトリの整合性がさらに向上していることが示された。
• 合成データセットにおいて、OmniMVS+およびTiny+は、すべての閾値で優れた完全性と精度を達成しており、特に低閾値（例：0.1m）で顕著な優位性を示している。
• IT/BTおよびWangsimniデータセットを用いた実証により、テクスチャが乏しい領域や小さな物体を含む、挑戦的な屋内・屋外環境の詳細な3Dマップ再構成に成功している。
• 観測回数フィルタリングと最適化されたボクセルサイズ（0.05m–0.15m）を用いたTSDF統合により、特に大規模でテクスチャが乏しい領域のマップ品質が向上している。