[論文レビュー] Cooper: Cooperative Perception for Connected Autonomous Vehicles based on 3D Point Clouds

Qi Chen, Sihai Tang+2 more|arXiv (Cornell University)|May 13, 2019

Autonomous Vehicle Technology and Safety参考文献 21被引用数 12

ひとこと要約

コoperは、複数の車両からの生の3次元LiDAR点群を統合することで3次元オブジェクト検出を向上させる、連結された自動運転車両を対象とした協調的認識フレームワークを提案する。深層学習に基づくSPOD手法を用いて、異なる視点からの点群をアライメントおよび統合することで、検出精度を向上させ、センシング範囲を拡大する。DSRCベースの車両通信ネットワークを用いた実用性が実証された。

ABSTRACT

Autonomous vehicles may make wrong decisions due to inaccurate detection and recognition. Therefore, an intelligent vehicle can combine its own data with that of other vehicles to enhance perceptive ability, and thus improve detection accuracy and driving safety. However, multi-vehicle cooperative perception requires the integration of real world scenes and the traffic of raw sensor data exchange far exceeds the bandwidth of existing vehicular networks. To the best our knowledge, we are the first to conduct a study on raw-data level cooperative perception for enhancing the detection ability of self-driving systems. In this work, relying on LiDAR 3D point clouds, we fuse the sensor data collected from different positions and angles of connected vehicles. A point cloud based 3D object detection method is proposed to work on a diversity of aligned point clouds. Experimental results on KITTI and our collected dataset show that the proposed system outperforms perception by extending sensing area, improving detection accuracy and promoting augmented results. Most importantly, we demonstrate it is possible to transmit point clouds data for cooperative perception via existing vehicular network technologies.

研究の動機と目的

• センサの盲点や認識不能によるオブジェクトの隠蔽や遠方オブジェクトの検出不能という、孤立した自動運転車両の限界を解消する。
• 高レベルの統合の欠点を補うために、生のセンサデータの低レベル統合を活用し、検出感度と冗長性を維持する。
• 連結車両間でのデータ共有を通じて協調的認識を実現し、状況認識能力を向上させ、検出不能を低減する。
• DSRCのような既存の車両通信ネットワークを用いて、生の3次元点群データを送信することが実現可能であることを実証する。帯域幅の制約を満たすことが確認された。

提案手法

• 多様な空間配置で動作する連結自動運転車両から生の3次元LiDAR点群を収集および交換する。
• 幾何的変換と空間的対応関係を用いて、複数車両の点群を共通の座標フレームにアライメントおよび登録する。
• アライメント済みで統合された点群に深層学習ベースの3次元オブジェクト検出モデル（SPOD）を適用し、より高い精度でオブジェクトを検出する。
• 車両間の相対的位置とシーンの複雑さに基づいて、データ交換を優先順位付けする帯域幅に配慮した送信戦略を設計する。
• 動的に情報量の多い点群領域（ROI）を選択して送信することで、データ負荷を低減する協調的認識パイプラインを実装する。
• DSRCベースの通信プロトコルを活用し、実際の車両通信ネットワーク制約下での点群送信の実用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 連結車両間での生の3次元LiDAR点群統合は、単一車両の認識に比べて、3次元オブジェクト検出精度を顕著に向上させるか？
• RQ2 DSRCのような既存の車両通信ネットワークを用いて、帯域幅制限を超えない範囲で生のLiDAR点群データを送信することは可能か？
• RQ3 協調的認識は、遮蔽や盲点領域における状況で、従来検出できなかったオブジェクトを回復させ、有効センシング範囲をどのように拡張するか？
• RQ4 異なる協調データ交換シナリオ（例：並走、先行/後続、交差点）における帯域幅コストは何か？また、それらはDSRCの容量内に収まるか？

主な発見

• コoperは、有効センシング領域を拡大することで3次元オブジェクト検出性能を向上させ、個々の車両の視界にないオブジェクトを検出可能にする。
• 協調的統合により、遮蔽や盲点領域において従来検出できなかったオブジェクトを正常に検出できた。
• 最もコストの高いデータ送信シナリオ（並走車両）において、1フレームあたり約1.8 Mbitの帯域幅が必要であったが、DSRCベースの車両ネットワークの容量内に収まった。
• 片方向のデータ交換（例：後続車両が先行車両のデータを受信）は、帯域幅を最も低く抑え、リアルタイム展開において最も実用的である。
• このフレームワークは、既存のDSRCインfraストラクチャ上での生のLiDARデータ共有が実現可能であることを示しており、実世界の状況下での協調的認識を支援する。
• プライバシーは保護されており、画像や動画などの機微なコンテンツを送信しない点群データのみを共有している。