[論文レビュー] FusionLane: Multi-Sensor Fusion for Lane Marking Semantic Segmentation Using Deep Neural Networks

Ruochen Yin, Biao Yu+3 more|arXiv (Cornell University)|Mar 9, 2020

Advanced Neural Network Applications参考文献 21被引用数 7

ひとこと要約

本論文では、LIDAR点群の上空視点（LBEV）とカメラ画像特徴を統合することで、正確なレーンマーキングのセマンティックセグメンテーションを実現する、FusionLaneと呼ばれる新しい深層学習フレームワークを提案する。DeeplabV3+バックボーンと時間的文脈を活用するためのLSTMモジュール、および二重ブランチエンコーダーデコーダー構造を組み合わせることで、14,000枚以上のアノテート済みフレームから構成される独自データセットにおいて、ベースラインモデルよりも16.39%高い平均交差率（mIoU）を達成し、最先端の性能を発揮した。

ABSTRACT

It is a crucial step to achieve effective semantic segmentation of lane marking during the construction of the lane level high-precision map. In recent years, many image semantic segmentation methods have been proposed. These methods mainly focus on the image from camera, due to the limitation of the sensor itself, the accurate three-dimensional spatial position of the lane marking cannot be obtained, so the demand for the lane level high-precision map construction cannot be met. This paper proposes a lane marking semantic segmentation method based on LIDAR and camera fusion deep neural network. Different from other methods, in order to obtain accurate position information of the segmentation results, the semantic segmentation object of this paper is a bird's eye view converted from a LIDAR points cloud instead of an image captured by a camera. This method first uses the deeplabv3+ [ ef{ref:1}] network to segment the image captured by the camera, and the segmentation result is merged with the point clouds collected by the LIDAR as the input of the proposed network. In this neural network, we also add a long short-term memory (LSTM) structure to assist the network for semantic segmentation of lane markings by using the the time series information. The experiments on more than 14,000 image datasets which we have manually labeled and expanded have shown the proposed method has better performance on the semantic segmentation of the points cloud bird's eye view. Therefore, the automation of high-precision map construction can be significantly improved. Our code is available at https://github.com/rolandying/FusionLane.

研究の動機と目的

• 高精度マップ構築のためのカメラ単独のセマンティックセグメンテーションにおける正確な3次元空間位置情報の欠如に対処すること。
• 歪み、スケールの問題、背景のごみによる影響を受ける空中またはカメラベースの画像の制限を克服すること。
• LIDARの幾何的正確性とカメラ画像の豊富なテクスチャを活用したマルチセンサーフュージョンフレームワークを構築し、レーンマーキングセグメンテーションを実現すること。
• 正確で3次元に注意を向けたセマンティック予測を提供することで、エンドツーエンドで自動的にレーンレベルの高精度マップを構築すること。

提案手法

• 本手法は、LIDARから得られる上空視点（LBEV）点群とカメラ画像特徴を処理する二重ブランチエンコーダーデコーダー神経ネットワークを用いる。
• カメラ画像はまず上空視点（CBEV）に変換され、事前学習済みのDeeplabV3+ネットワークを用いてセグメンテーションされる。
• カメラブランチからのセグメンテーション結果は、ストライド=2の畳み込み処理を経てLBEV特徴マップと統合される。
• 時間的依存性をモデル化するためにLSTMモジュールが統合され、時間的に安定したセグメンテーション性能が向上する。
• デコーダーは、エンコーダーからのスキップ接続を活用した2段階のバイリニアアップサンプリングを用い、細粒度の詳細を回復する。
• 最終出力は、各ラベル付きレーンマーキングの正確な3次元空間座標を提供するLBEVのマルチクラスセマンティックセグメンテーションマップである。

実験結果

リサーチクエスチョン

• RQ1 カメラベースの画像に比べ、LIDARから得られる上空視点（LBEV）は、レーンマーキングセグメンテーションにおけるより正確な3次元空間位置情報を提供できるか？
• RQ2 カメラ画像特徴とLIDAR点群特徴を統合することで、レーンマーキングのセマンティックセグメンテーション精度がどの程度向上するか？
• RQ3 LSTMによる時間的文脈の統合は、連続フレーム間でセグメンテーションの安定性と正確性をどの程度向上させるか？
• RQ4 提案されたマルチセンサーフュージョンフレームワークは、カメラ単独またはLIDAR単独のベースラインと比較して、mIoUおよびクラス別パフォーマンスにおいて優れているか？

主な発見

• FusionLaneモデルは、タイムステップが4の場合に平均交差率（mIoU）85.35%を達成し、ベースラインの修正版DeeplabV3+よりも16.39ポイント高い性能を示した。
• LSTMを搭載したモデル（FusionLane_FcLSTM）は、すべてのバリエーションの中で最高のmIoUを記録し、時間的モデリングの有効性を示した。
• mIoUはタイムステップが4でピークに達し、さらに増加すると低下したため、過剰な歴史的文脈は性能を劣化させる可能性があることが示された。
• 一部のレーンマーキングクラス（Arrowを除く）において優れた性能を示したが、ArrowクラスではわずかなIOUの低下が見られた。これは局所的特徴の破壊に起因するとされた。
• ピクセル精度は高く（91.31%）あったが、背景クラスがデータセットを支配していたため、クラス不均衡に起因する誤解を招く可能性があり、mIoUが主な指標として重要であることが強調された。
• アブレーションスタディにより、時間的モデリングを含むLIDAR-カメラ統合が、単一センサーや非時間的アプローチよりも顕著にセグメンテーション品質を向上させることを確認した。