[論文レビュー] Providentia -- A Large-Scale Sensor System for the Assistance of Autonomous Vehicles and Its Evaluation

Annkathrin Krämmer, Christoph Schöller+6 more|arXiv (Cornell University)|Jun 16, 2019

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文では、マルチモーダルセンサーネットワークを用いて、高速道路の交通状況をリアルタイムかつ高精度にデジタルツイン化することで、自動運転車両の周辺状況認識を向上させる大規模なインテリジェントインfra構造システム「Providentia」を提示する。このシステムは、分散型エッジデバイスに分散配置されたレーダー、カメラ、LiDARKからのデータを統合し、昼間および夜間の両方の条件下で高い空間的・分類的正確性を達成している。さらに、実証済みのデジタルツイン統合により、自動運転車両のオンボードセンサの範囲を超えた周辺状況認識が可能になったことが確認された。

ABSTRACT

The environmental perception of an autonomous vehicle is limited by its physical sensor ranges and algorithmic performance, as well as by occlusions that degrade its understanding of an ongoing traffic situation. This not only poses a significant threat to safety and limits driving speeds, but it can also lead to inconvenient maneuvers. Intelligent Infrastructure Systems can help to alleviate these problems. An Intelligent Infrastructure System can fill in the gaps in a vehicle's perception and extend its field of view by providing additional detailed information about its surroundings, in the form of a digital model of the current traffic situation, i.e. a digital twin. However, detailed descriptions of such systems and working prototypes demonstrating their feasibility are scarce. In this paper, we propose a hardware and software architecture that enables such a reliable Intelligent Infrastructure System to be built. We have implemented this system in the real world and demonstrate its ability to create an accurate digital twin of an extended highway stretch, thus enhancing an autonomous vehicle's perception beyond the limits of its on-board sensors. Furthermore, we evaluate the accuracy and reliability of the digital twin by using aerial images and earth observation methods for generating ground truth data.

研究の動機と目的

• 自動運転車両のオンボードセンサの制限（遮蔽や視野の制限）を克服するため、スケーラブルなインfraベースのソリューションを開発すること。
• 正確な交通環境のデジタルツインを生成する信頼性が高くリアルタイム性に優れたインテリジェントインfraシステム（IIS）を設計・実装すること。
• 空中写真を基準として、システムの正確性と信頼性を評価し、周辺状況認識性能の検証を可能にすること。
• デジタルツインを自動運転車両の環境モデルに統合し、その周辺状況認識範囲を拡張すること。

提案手法

• 高速道路のガントリーにレーダー、カメラ、LiDARを含むマルチモーダルセンサーネットワークを展開し、広域かつマルチビュー監視を可能にする。
• 帯域幅の削減とリアルタイム統合の実現を目的として、センサーデータの分散型低遅延処理を実現するエッジコンピューティングノードを導入する。
• マスターキャルブの基準に基づく時刻同期処理を実施する集中型ソフトウェアスタックを採用し、センサ間の時間的一致性を確保する。
• 一貫性のあるデジタルツインを生成するため、高度な検出およびデータ統合アルゴリズムを適用し、各道路利用者に対して位置、速度、車両種別、固有識別子を付与する。
• 空中画像および地球観測技術を用いて基準データを生成し、システム性能の定量的評価を可能にする。
• デジタルツインを自動運転車両の環境モデルに統合し、オンボードセンサの限界を超えた周辺状況認識を実現する。

実験結果

リサーチクエスチョン

• RQ1 インテリジェントインフラシステムは、どのようにして自動運転車両のオンボードセンサの範囲を超えて周辺状況認識範囲を拡張できるか？
• RQ2 実世界の高速道路環境において、高い空間的・分類的正確性を達成するためには、どのようなセンサ統合およびキャリブレーション技術が必要か？
• RQ3 空中画像およびリモートセンシングを用いて、大規模なIIS評価に十分な精度で基準データを取得するにはどうすればよいか？
• RQ4 IISが生成するデジタルツインは、自動運転車両の安全性向上および計画能力向上にどの程度寄与できるか？
• RQ5 実世界への展開を想定したスケーラブルなシステムを実現するにあたり、どのような主なアーキテクチャ的・ソフトウェア的課題が生じるか？

主な発見

• Providentiaシステムは、昼間および夜間の両方の条件下で高い検出率と空間的正確性を達成し、照明状況や天候の変化に対しても高い耐性を示した。
• システムが生成したデジタルツインは高い分類正確性を示し、車両種別を正しく特定するとともに、各検出された車両に固有識別子を付与した。
• デジタルツインを自動運転車両の環境モデルに統合することで、オンボードセンサの範囲を超えた周辺状況認識が成功裏に実現された。
• 空中画像を基準として行った評価により、システムの信頼性が確認された。定量的結果から、検出された交通状態と基準交通状態との間に強い一致が確認された。
• リアルタイムかつ大規模な交通監視の実現可能性が示された。このシステムは、渋滞検出、逆走運転者特定、レーンレベルの交通管理などの応用に活用可能である。
• 空中画像を用いた評価手法は、インテリジェントインフラシステムの性能評価に一般化可能なフレームワークを提供する。