[論文レビュー] Level 2 Autonomous Driving on a Single Device: Diving into the Devils of Openpilot

Li Chen, Tutian Tang+7 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、1台の999ドルのデバイスに搭載され、単眼カメラでのみ作動するエンドツーエンドのレベル2自動運転システムであるComma.aiのOpenpilotを逆設計する。OP-Deepdiveとして再実装されたSupercomboモデルを、元のモデルと並列でデプロイする二重モデル構成により、低コストで単一デバイスに搭載されたシステムが、公的ベンチマークおよび実車両でのテストにおいて、元のシステムと同等の性能を達成できることを示した。これにより、一般消費者向けのレベル2自動運転におけるエンドツーエンド学習の実現可能性が裏付けられた。

ABSTRACT

Equipped with a wide span of sensors, predominant autonomous driving solutions are becoming more modular-oriented for safe system design. Though these sensors have laid a solid foundation, most massive-production solutions up to date still fall into L2 phase. Among these, Comma.ai comes to our sight, claiming one $999 aftermarket device mounted with a single camera and board inside owns the ability to handle L2 scenarios. Together with open-sourced software of the entire system released by Comma.ai, the project is named Openpilot. Is it possible? If so, how is it made possible? With curiosity in mind, we deep-dive into Openpilot and conclude that its key to success is the end-to-end system design instead of a conventional modular framework. The model is briefed as Supercombo, and it can predict the ego vehicle's future trajectory and other road semantics on the fly from monocular input. Unfortunately, the training process and massive amount of data to make all these work are not publicly available. To achieve an intensive investigation, we try to reimplement the training details and test the pipeline on public benchmarks. The refactored network proposed in this work is referred to as OP-Deepdive. For a fair comparison of our version to the original Supercombo, we introduce a dual-model deployment scheme to test the driving performance in the real world. Experimental results on nuScenes, Comma2k19, CARLA, and in-house realistic scenarios verify that a low-cost device can indeed achieve most L2 functionalities and be on par with the original Supercombo model. In this report, we would like to share our latest findings, shed some light on the new perspective of end-to-end autonomous driving from an industrial product-level side, and potentially inspire the community to continue improving the performance. Our code, benchmarks are at https://github.com/OpenPerceptionX/Openpilot-Deepdive.

研究の動機と目的

• Comma.aiのOpenpilotが、単眼カメラでのみ作動する低コストの1台のデバイスでどのようにレベル2自動運転を実現しているかを調査すること。
• Supercomboエンドツーエンドモデルを完全に再実装し、そのアーキテクチャと学習プロセスを理解すること。
• 再実装モデル（OP-Deepdive）のパブリックベンチマークおよび実車両でのドライブシナリオにおける性能を評価すること。
• 元のSupercomboモデルと再実装されたOP-Deepdiveモデルの間で公平な比較が可能な二重モデルデプロイメントスキームを構築・検証すること。
• エンドツーエンド自動運転における課題、特にデバッグ、模倣学習の指標、システム全体の統合に関する知見を提供すること。

提案手法

• 公開データセット（nuScenes、Comma2k19）および社内での上海ドライブデータを用いて、OP-DeepdiveとしてSupercomboモデルを再実装する。
• 模倣学習を用いてOP-Deepdiveを訓練および評価し、2つの指標を用いる：平均ユークリッド距離誤差と軌道予測の平均精度。
• Openpilotシステム上にOP-Deepdiveと元のSupercomboモデルを二重モデルフレームワークとしてデプロイし、実車両での比較を可能にする。
• CARLAシミュレータおよび実車両を用いて、同一条件でのドライブ性能を評価する制御実験を実施する。
• WARP機構を用いて、異なるカメラアングルをシミュレートすることで単眼データを拡張し、トレーニング中の汎化性能を向上させる。
• 再実装モデルを既存のOpenpilotソフトウェアスタックに統合し、モジュール性とシステム互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 単眼カメラでのみ作動する、低コストの1台のデバイスが、堅牢なレベル2自動運転性能を達成できるか？
• RQ2 実車両走行シナリオにおいて、OpenpilotのSupercomboモデルのエンドツーエンド設計は、従来のモジュラー自動運転アーキテクチャと比べてどのように異なるか？
• RQ3 再実装されたSupercombo（OP-Deepdive）バージョンが、パブリックベンチマークおよび実車両テストにおいて、元のモデルとどの程度同等の性能を達成できるか？
• RQ4 認識と計画が統合されたエンドツーエンド自動運転モデルのデバッグおよび評価において、主な課題は何か？
• RQ5 二重モデルデプロイメントスキームは、プロダクショングレードのシステムで再実装モデルの公平な実車両評価をどの程度効果的に可能にするか？

主な発見

• OP-Deepdiveは、nuScenesおよびComma2k19ベンチマークにおいて、元のSupercomboモデルと同等の軌道予測精度を達成した。
• CARLAシミュレーションにおいて、二重モデル構成により、OP-Deepdiveが安全性および軌道追従性の観点で、元のSupercomboと同等の性能を示したことが確認された。
• 上海での実車両テストでは、OP-Deepdiveが一般的なL2走行シナリオ（車線維持、アダプティブクルーズコントロールなど）を効果的に処理できることを示した。
• 二重モデルデプロイメントスキームは、実車両評価に有効であり、同一条件下で元モデルと再実装モデルの直接比較を可能にした。
• 本研究は、単眼カメラを用いたエンドツーエンド学習が、低コストハードウェア上でのL2自動運転に実現可能であることを確認した。これにより、センサーおよび計算リソースの要件に関する従来の仮定が疑問視された。
• nuScenesとComma2k19の間の性能差が解明されていないことから、モデルの汎化性能に影響を与える可能性のあるドメインシフトやデータ分布の違いが示唆された。