[論文レビュー] Exploring OpenStreetMap Availability for Driving Environment Understanding

Yang Zheng, Izzat H. Izzat+1 more|arXiv (Cornell University)|Mar 11, 2019

Remote Sensing and LiDAR Applications参考文献 22被引用数 8

ひとこと要約

本稿では、自動運転における走行環境理解のため、OpenStreetMap (OSM) データを活用して、ステアリング角信号を用いたBi-RNNを用いた走行イベントの認識、および視覚／LiDarデータとOSM由来の道路マスクを統合する手法を提案する。OSMの有効性を示し、深層学習における応用可能性を裏付ける。これにより、正確なレーンキーピングおよびターン検出が可能となり、マルチソース統合による走行可能領域の認識が向上する。

ABSTRACT

With the great achievement of artificial intelligence, vehicle technologies have advanced significantly from human centric driving towards fully automated driving. An intelligent vehicle should be able to understand the driver's perception of the environment as well as controlling behavior of the vehicle. Since high digital map information has been available to provide rich environmental context about static roads, buildings and traffic infrastructures, it would be worthwhile to explore map data capability for driving task understanding. Alternative to commercial used maps, the OpenStreetMap (OSM) data is a free open dataset, which makes it unique for the exploration research. This study is focused on two tasks that leverage OSM for driving environment understanding. First, driving scenario attributes are retrieved from OSM elements, which are combined with vehicle dynamic signals for the driving event recognition. Utilizing steering angle changes and based on a Bi-directional Recurrent Neural Network (Bi-RNN), a driving sequence is segmented and classified as lane-keeping, lane-change-left, lane-change-right, turn-left, and turn-right events. Second, for autonomous driving perception, OSM data can be used to render virtual street views, represented as prior knowledge to fuse with vision/laser systems for road semantic segmentation. Five different types of road masks are generated from OSM, images, and Lidar points, and fused to characterize the drivable space at the driver's perspective. An alternative data-driven approach is based on a Fully Convolutional Network (FCN), OSM availability for deep learning methods are discussed to reveal potential usage on compensating street view images and automatic road semantic annotation.

研究の動機と目的

• 商用地図の代替として利用可能なフリーでオープンソースの地図としてのOpenStreetMap (OSM) の有効性を、走行環境理解の文脈で調査すること。
• 車両の動的信号と組み合わせたOSM属性を用いて、レーン変更やターンなどの走行イベントを認識する手法を開発すること。
• 視覚およびLiDarデータと統合するためのOSM由来の事前道路マスクを生成することで、道路のセマンティックセグメンテーションの向上を検討すること。
• OSMの深層学習応用の可能性を評価すること。特に、欠落しているストリートビュー画像の補完や、自動道路アノテーションの実現を目的とする。

提案手法

• 走行イベント認識には、ステアリング角の変化を学習データとして用いた双方向RNN（Bi-RNN）を採用し、走行シーケンスを5つのカテゴリ（レーンキーピング、左レーン変更、右レーン変更、左ターン、右ターン）に分類する。
• 道路種別、レーン数、ターン制限などのOSM要素を抽出し、走行シナリオの属性を推定し、イベント認識の文脈を豊かにする。
• OSM、RGB画像、LiDar点群から5種類の道路マスクを生成し、ドライバー視点からの走行可能領域を統合表現する。
• 完全畳み込みネットワーク（FCN）を用いて、OSMデータが深層学習、特にセマンティックセグメンテーションおよびデータ拡張において果たす有効性を評価する。
• リアルタイムのセンサデータ（カメラおよびLiDar）とOSMからの事前知識を統合することで、道路認識のロバスト性を向上させる。
• OSMデータを用いて合成ストリートビューを生成し、道路セマンティクスの自動アノテーションを支援することで、高価な手動ラベリングへの依存を低減する。

実験結果

リサーチクエスチョン

• RQ1 車両の動的信号とOSM属性を組み合わせることで、OSMデータがステアリング角データのみを用いても、レーン変更やターンなどの走行イベントを効果的に認識できるか。
• RQ2 視覚およびLiDarデータと統合する際、OSM由来の道路マスクをどのように融合することで、走行可能領域のセマンティックセグメンテーションが向上するか。
• RQ3 OSMデータが、特に欠落または不完全なストリートビュー画像の補完を目的とした深層学習モデルの性能向上に、どの程度寄与できるか。
• RQ4 複雑な都市環境において、OSMを用いて事前知識を生成することで、道路セマンティックセグメンテーションの精度が向上するか。
• RQ5 OSMが、自動運転システムにおける道路環境の自動的・データ駆動型アノテーションを実現する可能性を有するか。

主な発見

• Bi-RNNモデルは、ステアリング角データとOSM由来の属性のみを用いて走行イベントを正確に分類でき、高精細地図が不要な走行イベント認識の可能性を示した。
• カメラおよびLiDarデータとOSMで生成された道路マスクを統合することで、走行可能領域の特徴抽出が顕著に向上し、認識のロバスト性が向上した。
• セマンティックセグメンテーションモデルにOSMの事前知識を統合したことで、多様な都市環境において一貫性があり正確な道路境界検出が可能になった。
• OSMデータは、欠落または低品質なストリートビュー画像の補完に有効であり、深層学習パイプラインにおけるデータ拡張を支援した。
• 本研究では、OSMが高価な手動ラベリングに依存することなく、自動道路セマンティクスアノテーションの有効なソースであることが確認された。