[論文レビュー] LiDAR Data Enrichment Using Deep Learning Based on High-Resolution Image: An Approach to Achieve High-Performance LiDAR SLAM Using Low-cost LiDAR

Yue Jiang, Weisong Wen+2 more|arXiv (Cornell University)|Aug 9, 2020

Robotics and Sensor-Based Localization参考文献 31被引用数 7

ひとこと要約

本稿では、低価格センサを用いた高精度なLiDAR SLAMを実現するため、深層学習に基づく手法を提案する。16チャンネルのスパースなLiDAR点群を高解像度RGB画像を用いて豊かにし、高品質な点群再構成を実現する。ERFNetによる画像セマンティクス抽出とスパース畳み込みニューラルネットワークによる高密度点群予測を統合することで、点群再構成の平均二乗誤差（MSE）が1.1mにまで低下し、詳細が豊富な正確なSLAM地図を維持する。

ABSTRACT

LiDAR-based SLAM algorithms are extensively studied to providing robust and accurate positioning for autonomous driving vehicles (ADV) in the past decades. Satisfactory performance can be obtained using high-grade 3D LiDAR with 64 channels, which can provide dense point clouds. Unfortunately, the high price significantly prevents its extensive commercialization in ADV. The cost-effective 3D LiDAR with 16 channels is a promising replacement. However, only limited and sparse point clouds can be provided by the 16 channels LiDAR, which cannot guarantee sufficient positioning accuracy for ADV in challenging dynamic environments. The high-resolution image from the low-cost camera can provide ample information about the surroundings. However, the explicit depth information is not available from the image. Inspired by the complementariness of 3D LiDAR and camera, this paper proposes to make use of the high-resolution images from a camera to enrich the raw 3D point clouds from the low-cost 16 channels LiDAR based on a state-of-the-art deep learning algorithm. An ERFNet is firstly employed to segment the image with the aid of the raw sparse 3D point clouds. Meanwhile, the sparse convolutional neural network is employed to predict the dense point clouds based on raw sparse 3D point clouds. Then, the predicted dense point clouds are fused with the segmentation outputs from ERFnet using a novel multi-layer convolutional neural network to refine the predicted 3D point clouds. Finally, the enriched point clouds are employed to perform LiDAR SLAM based on the state-of-the-art normal distribution transform (NDT). We tested our approach on the re-edited KITTI datasets: (1)the sparse 3D point clouds are significantly enriched with a mean square error of 1.1m MSE. (2)the map generated from the LiDAR SLAM is denser which includes more details without significant accuracy loss.

研究の動機と目的

• 自動運転応用における低価格16チャンネルLiDARによる点群密度の制限を解決すること。
• 明示的な深度アノテーションを必要とせず、高解像度カメラ画像を活用してスパースなLiDAR点群を豊かにすること。
• マルチモーダル融合により点群品質を向上させることで、低価格センサを用いた高パフォーマンスなLiDAR SLAMを実現すること。
• 動的環境において計算コストを増加させることなく、地図の密度と詳細を著しく向上させつつSLAMの正確性を維持すること。

提案手法

• 空間的整合性を確保するため、元のスパース3次元点群を用いてガイドされたERFNetベースのセマンティックセグメンテーションネットワークが高解像度RGB画像を処理する。
• 入力のスパースLiDARデータから高密度3次元点群を予測するためのスパース畳み込みニューラルネットワークを採用する。
• 予測された高密度点群とERFNetのセグメンテーション出力を統合する新しい多層畳み込みニューラルネットワークを設計し、幾何学的・意味的特徴を精緻化する。
• 精緻化された豊富な点群を、最先端の正規分布変換（NDT）ベースのLiDAR SLAMの入力として使用する。
• 実世界の関連性を保証するため、再編集されたKITTIデータセット上でフレームワークを学習および評価する。
• エンドツーエンド学習により、画像とLiDARのマルチモーダルデータ統合を実現し、空間再構成の忠実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高解像度RGB画像は、自律走行における16チャンネルLiDAR点群のスパarsityを効果的に補完できるか？
• RQ2 画像の事前知識を用いることで、深層学習が低価格LiDARデータの密度と幾何的正確性をどの程度向上できるか？
• RQ3 セマンティックセグメンテーションと高密度予測の統合は、計算コストを増加させることなくSLAM性能を向上させられるか？
• RQ4 豊かにされた点群は、SLAMの正確性を維持しながら地図の詳細と環境表現を著しく向上させられるか？

主な発見

• 提案手法は、スパースな16チャンネルLiDARデータから高密度点群を再構成する際、平均二乗誤差（MSE）が1.1mに達した。
• 豊かにされた点群により、より密度の高いSLAM地図と顕著に詳細な環境表現が可能になった。
• 低価格16チャンネルLiDARを用いても、SLAM性能は安定しており、正確性の低下は最小限に抑えられた。
• ERFNetによるセグメンテーションとスパース畳み込みベースの予測の統合により、再構成点群の幾何学的忠実性が顕著に向上した。
• 明示的な深度監督を必要とせず、高解像度画像を活用してLiDARデータを効果的に向上させることに成功した。