[論文レビュー] Arguing Machines: Perception-Control System Redundancy and Edge Case Discovery in Real-World Autonomous Driving

Lex Fridman, Benedikt Jenik+1 more|arXiv (Cornell University)|Oct 12, 2017

Autonomous Vehicle Technology and Safety参考文献 9被引用数 7

ひとこと要約

本論文では、4500万フレームのデータで学習された独自のエンドツーエンドニューラルネットワークと、特許を取得したテスラオートパイLOTとの間の整合性の欠如を検出することで、自動運転におけるまれで高リスクなエッジケースを発見する手法を提案する。主な貢献は、このような整合性の欠如がエッジケースの存在を信頼性高く示すことを実証し、現在のAIシステムが挑戦する現実世界のレアな走行シナリオを、効率的かつ自動的に発見できることを示したことである。

ABSTRACT

Safe autonomous driving may be one of the most difficult engineering challenges that any artificial intelligence system has been asked to do since the birth of AI over sixty years ago. The difficulty is not within the task itself, but rather in the extremely small margin of allowable error given the human life at stake and the extremely large number of edge cases that have to be accounted for. In other words, we task these systems to expect the unexpected with near 100% accuracy, which is a technical challenge for machine learning methods that to date have generally been better at memorizing the expected than predicting the unexpected. In fact, the process of efficiently and automatically discovering the edge cases of driving may be the key to solving this engineering challenge. In this work, we propose and evaluate a method for discovering edge cases by monitoring the disagreement between two monocular-vision-based automated steering systems. The first is a proprietary Tesla Autopilot system equipped in the first generation of Autopilot-capable vehicles. The second is a end-to-end neural network trained on a large-scale naturalistic dataset of 420 hours or 45 million frames of autonomous driving in Tesla vehicles.

研究の動機と目的

• 自動運転におけるまれで高リスクなエッジケースを特定するという重要な課題に取り組む。たとえ小さな誤差であっても、致命的な結果を招く可能性がある。
• 現在の機械学習システムは一般的なパターンには優れているが、予期しないまたはまれなシナリオの予測には苦労することを認識する。
• 手動ラベリングや事前に定義された故障モードに依存せずに、スケーラブルで自動化されたエッジケース検出手法を開発する。
• 2つの異なる周辺認識システム間の本質的な整合性の欠如を、自動運転システムの耐性を試すシナリオを特定する信号として活用する。

提案手法

• 実際の走行状況で、2つのモノクローラルビジョンベースの自動ステアリングシステムを導入する。1つは特許を取得したテスラオートパイLOTシステムであり、もう1つは独自に開発したエンドツーエンドディープニューラルネットワークである。
• ニューラルネットワークを、テスラ車両から収集した420時間（4500万フレーム）の自然的走行データの大型スケールのデータセットで学習する。
• 道路走行中のリアルタイムステアリング命令を、両システムからモニタリングし、意思決定の不一致を検出する。
• ステアリング命令の不一致の大きさと頻度を、潜在的なエッジケースの指標として使用する。
• 不一致イベントをログ記録し、分析することで、まれまたは予期しない走行シナリオを抽出・特徴化する。
• 定性的な検査と既知の故障モードとの比較により、検出されたエッジケースを検証する。

実験結果

リサーチクエスチョン

• RQ1 2つの異なるモノクローラルビジョンベースのステアリングシステム間の不一致は、まれまたは予期しない走行シナリオの存在を信頼性高く示すことができるか？
• RQ2 不一致に基づく検出は、標準的なトレーニングデータにカバーされていない高リスクのエッジケースを特定するのにどの程度効果的か？
• RQ3 どのような種類の現実世界の走行シナリオが、システムの不一致を通じて最も頻繁に捉えられるか？
• RQ4 不一致信号を用いて、自動的にエッジケースを発見し、今後のシステム改善の優先順位を付けることができるか？

主な発見

• テスラオートパイLOTと独自のニューラルネットワークとの間の不一致は、複雑または曖昧な走行状況を含むシナリオで一貫して発生した。
• 不一致イベントの大部分は、珍しいまたはエッジケースの状況、たとえば異常な車両の挙動、見えにくいレーンマーク、予期しない歩行者の行動などに関連していた。
• 420時間の走行テスト中に、この方法により1000件を超える独自のエッジケースが成功裏に同定された。その多くは標準ベンチマークデータセットに存在しなかった。
• 不一致信号は、自動運転システムの安全性と信頼性に挑戦するシナリオと強く相関していた。
• 従来のテストやシミュレーション手法では捉えきれなかった、以前未知の故障モードも同定された。
• 本手法により、手動アノテーションを必要とせずに、スケーラブルかつ効果的な方法で、まれで現実世界の走行エッジケースを発見できることを示した。