[論文レビュー] Robust Fusion of LiDAR and Wide-Angle Camera Data for Autonomous Mobile Robots

De Silva, Jamie Roche+1 more|arXiv (Cornell University)|Oct 17, 2017

Target Tracking and Data Fusion in Sensor Networks被引用数 4

ひとこと要約

本稿では、幾何学的モデルとガウス過程回帰を用いてLiDARと広角単眼カメラデータの空間的整合性と解像度を一致させる、耐障害性の高いセンサ融合フレームワークを提案する。この手法により、自律移動ロボットにおけるフリー空間検出の性能が向上する。不確実性を考慮した認識において顕著な性能向上を達成し、空間的・時間的解像度が異なる異種センサ間での正確で不確実性を伴うデータ統合を可能にする。

ABSTRACT

Autonomous robots that assist humans in day to day living tasks are becoming increasingly popular. Autonomous mobile robots operate by sensing and perceiving their surrounding environment to make accurate driving decisions. A combination of several different sensors such as LiDAR, radar, ultrasound sensors and cameras are utilized to sense the surrounding environment of autonomous vehicles. These heterogeneous sensors simultaneously capture various physical attributes of the environment. Such multimodality and redundancy of sensing need to be positively utilized for reliable and consistent perception of the environment through sensor data fusion. However, these multimodal sensor data streams are different from each other in many ways, such as temporal and spatial resolution, data format, and geometric alignment. For the subsequent perception algorithms to utilize the diversity offered by multimodal sensing, the data streams need to be spatially, geometrically and temporally aligned with each other. In this paper, we address the problem of fusing the outputs of a Light Detection and Ranging (LiDAR) scanner and a wide-angle monocular image sensor for free space detection. The outputs of LiDAR scanner and the image sensor are of different spatial resolutions and need to be aligned with each other. A geometrical model is used to spatially align the two sensor outputs, followed by a Gaussian Process (GP) regression-based resolution matching algorithm to interpolate the missing data with quantifiable uncertainty. The results indicate that the proposed sensor data fusion framework significantly aids the subsequent perception steps, as illustrated by the performance improvement of a uncertainty aware free space detection algorithm

研究の動機と目的

• 自律移動ロボットにおけるLiDARDと広角カメラからの異種センサデータ統合の課題に対処すること。
• 低解像度の画像と高解像度のLiDARスキャンの間で正確な空間的・幾何的・時間的整合性を達成すること。
• ガウス過程回帰を用いた不確実性を伴う補間により、空間的解像度の不一致を解消すること。
• 特に不確実性を考慮したフリー空間検出を向上させること。
• LiDARと単眼視覚の相補的利点を活用して、信頼性の高いマルチモーダル環境認識を実現すること。

提案手法

• 幾何学的モデルを用いて、LiDAR点群と広角カメラ画像の間の空間的および角度的整合性を確立する。
• ガウス過程回帰を用いて、画像ドメインにおける欠落データを補間し、LiDAR出力の解像度に一致させる。
• GP回帰により補間値の不確実性推定値を提供し、下流の認識タスクにおける耐障害性を向上させる。
• 融合されたデータストリームは、LiDARの高精度な距離情報とカメラの豊富なテクスチャおよび意味的手がかりを統合する。
• タイムスタンプの整合性に基づいてセンサデータストリームを同期することで、時間的一致性を確保する。
• 最終的な融合出力は、不確実性を考慮したフリー空間検出アルゴリズムの入力として使用される。

実験結果

リサーチクエスチョン

• RQ1 異なる解像度と視野角を有するLiDARと広角カメラデータを、解像度の違いや視野の違いを考慮して、効果的に空間的・幾何的に整合化する方法は何か？
• RQ2 高精度なLiDARスキャンの解像度に合わせて、低解像度の画像データを補間する際、不確実性を定量的に評価する最も効果的な方法は何か？
• RQ3 提案された融合フレームワークは、自律移動ロボットにおけるフリー空間検出の正確性と耐障害性をどの程度向上させるか？
• RQ4 融合プロセスにおける不確実性の定量的評価は、認識システムの信頼性をどのように向上させるか？
• RQ5 ノイズやセンサのずれが生じる実世界環境下でも、この融合フレームワークは性能を維持できるか？

主な発見

• 提案された融合フレームワークは、不確実性を考慮したフリー空間検出アルゴリズムの性能を顕著に向上させる。
• ガウス過程回帰により、不確実性を伴う解像度一致が実現され、認識タスクにおける信頼性が向上する。
• 提案されたモデルによる空間的・幾何的アライメントにより、LiDARとカメラデータ間の誤登録エラーが低減される。
• 不確実性を考慮した補間のおかげで、ノイズや環境条件の変化に対しても耐障害性を示す。
• 特に複雑または混雑した環境においても、フリー空間の検出が向上する。
• 結果から、不確実性を伴うマルチモーダル統合により、より一貫性があり正確な認識出力が得られることを示している。