[論文レビュー] COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked Vehicles

Jiaxun Cui, Hang Qiu+3 more|arXiv (Cornell University)|May 4, 2022

Advanced Optical Sensing Technologies被引用数 9

ひとこと要約

Coopernautは、V2Vチャネルを介して送信されるコン pact で空間に配慮したLiDAR表現を用いて、視界外の制限を超えた認識を向上させるエンドツーエンドで視覚に基づく協調運転モデルを提案する。事故の多い状況ではエゴセントリックモデルに比べ40%高い成功率を達成し、先行研究と比較して帯域幅を5倍削減し、現実的な無線制約や変動する交通密度下でも頑健な性能を示している。

ABSTRACT

Optical sensors and learning algorithms for autonomous vehicles have dramatically advanced in the past few years. Nonetheless, the reliability of today's autonomous vehicles is hindered by the limited line-of-sight sensing capability and the brittleness of data-driven methods in handling extreme situations. With recent developments of telecommunication technologies, cooperative perception with vehicle-to-vehicle communications has become a promising paradigm to enhance autonomous driving in dangerous or emergency situations. We introduce COOPERNAUT, an end-to-end learning model that uses cross-vehicle perception for vision-based cooperative driving. Our model encodes LiDAR information into compact point-based representations that can be transmitted as messages between vehicles via realistic wireless channels. To evaluate our model, we develop AutoCastSim, a network-augmented driving simulation framework with example accident-prone scenarios. Our experiments on AutoCastSim suggest that our cooperative perception driving models lead to a 40% improvement in average success rate over egocentric driving models in these challenging driving situations and a 5 times smaller bandwidth requirement than prior work V2VNet. COOPERNAUT and AUTOCASTSIM are available at https://ut-austin-rpl.github.io/Coopernaut/.

研究の動機と目的

• 視界が遮られる状況で、データ駆動型の自動運転ポリシーが破綻しやすい極端またはレアなシナリオにおける課題に対処すること。
• 車両間通信（V2V）を通じた協調認識を可能にすることで、事故の多い状況における運転の安全性を向上させること。
• コン pact で物理的に根拠のあるLiDAR表現を効率的に送信するエンドツーエンドの学習フレームワークを設計し、状況認識を向上させること。
• 動的な交通状況と限られたセンシング範囲を伴う現実的で挑戦的な運転シナリオでモデルを評価すること。
• ネットワーク化された自律走行車両における協調認識の再現可能なベンチマーク評価を可能にするシミュレーションフレームワークを開発すること。

提案手法

• モデルは、各車両で生のLiDAR点群をコン pact で空間に配慮したニューラル表現に変換するPoint Transformerベースのエンコーダを使用する。
• これらの表現は帯域幅が限られた現実的なV2V無線チャネルを介して送信され、空間的・幾何的正確性を保持する。
• エゴ車両は、微分可能で空間的な変換と融合メカニズムを用いて、周囲の車両からの表現を統合する。
• システム全体がエンドツーエンドで微分可能であり、オラクルプランナからの制御の監視信号が、認識および通信モジュールを介して逆伝播可能である。
• CARLA内でマルチビークルV2V通信、現実的なネットワーク状態、事故の多いシナリオをモデル化できる、新しいシミュレーションフレームワークAutoCastSimが開発された。
• フレームワークには、特権情報を持つエキスパートオラクルプランナが含まれており、模倣学習の監視と性能評価に使用される。

実験結果

リサーチクエスチョン

• RQ1 V2V通信による協調認識は、視界が遮られ、危険度の高い交通状況において、運転性能を顕著に向上させるか？
• RQ2 コン pact なLiDAR表現の通信効率は、先行手法と比較して帯域幅と性能の面でどのように異なるか？
• RQ3 エンドツーエンドの学習方式により、送信されるメッセージがタスク関連で実行可能な情報を含んでいる程度はどの程度か？
• RQ4 実世界に類似した条件下で、変動する交通密度や動的な周囲の車両の変化に対して、モデルはどの程度頑健か？
• RQ5 手作業で作成したメタデータに依存せずに、多様な事故の多いシナリオに一般化できるか？

主な発見

• Coopernautは、視界が遮られる左折など、最も困難な事故の多いシナリオにおいて、エゴセントリック運転モデルに比べ平均成功率が40%向上した。
• 先行研究のV2VNetと比較して、帯域幅要件を5倍削減しながら、性能を維持または向上させた。
• 混雑した交通状況下でも、V2V共有なしのベースラインに比べ30%以上の高い成功率を維持し、周囲の車両通信の確率的変動に対する頑健性を示した。
• 定性的な分析から、Coopernautは協調認識により、トレックの背後に隠れた車両を事前に検知することで、衝突回避を能動的に行えることがわかった。
• さまざまな交通密度にわたって一般化がうまくいっており、周囲の車両数に関係なく一貫した性能向上が得られた。
• ランダムな周囲車両選択と空間変換による5%のパケット損失に対しても、Coopernautは頑健であることが示され、現実のネットワークの不完全性に耐性があることがわかった。