[論文レビュー] A Survey on Autonomous Vehicle Control in the Era of Mixed-Autonomy: From Physics-Based to AI-Guided Driving Policy Learning

Xuan Di, Rongye Shi|arXiv (Cornell University)|Jul 10, 2020

Traffic control and management参考文献 244被引用数 18

ひとこと要約

本サーベイは、人間運転車（HVs）と自動運転車（AVs）が共存する混在交通環境における自律走行車（AV）制御の分野で、特に深層強化学習、模倣学習、ゲーム理論を活用したAIガイダンス手法を紹介する。4段階の展開フレームワークを提案し、異種の行動と相互作用のモデリングにおける主な課題を特定し、現実の混在自律性エコシステムにおけるスケーラブルで安全かつ倫理的なAVシステムへの道筋を提示する。

ABSTRACT

This paper serves as an introduction and overview of the potentially useful models and methodologies from artificial intelligence (AI) into the field of transportation engineering for autonomous vehicle (AV) control in the era of mixed autonomy. We will discuss state-of-the-art applications of AI-guided methods, identify opportunities and obstacles, raise open questions, and help suggest the building blocks and areas where AI could play a role in mixed autonomy. We divide the stage of autonomous vehicle (AV) deployment into four phases: the pure HVs, the HV-dominated, the AVdominated, and the pure AVs. This paper is primarily focused on the latter three phases. It is the first-of-its-kind survey paper to comprehensively review literature in both transportation engineering and AI for mixed traffic modeling. Models used for each phase are summarized, encompassing game theory, deep (reinforcement) learning, and imitation learning. While reviewing the methodologies, we primarily focus on the following research questions: (1) What scalable driving policies are to control a large number of AVs in mixed traffic comprised of human drivers and uncontrollable AVs? (2) How do we estimate human driver behaviors? (3) How should the driving behavior of uncontrollable AVs be modeled in the environment? (4) How are the interactions between human drivers and autonomous vehicles characterized? Hopefully this paper will not only inspire our transportation community to rethink the conventional models that are developed in the data-shortage era, but also reach out to other disciplines, in particular robotics and machine learning, to join forces towards creating a safe and efficient mixed traffic ecosystem.

研究の動機と目的

• AVと人間運転車が共存する混在交通環境のモデリングにおける重要なギャップを解消すること、特に移行段階の展開フェーズにおいて。
• データが乏しい環境における従来の物理ベースモデルの限界を、深層強化学習や模倣学習などのAI駆動アプローチを統合することで克服すること。
• 人間ドライバーとAVが混在する状況下で、大規模なAV展開に適したスケーラブルな運転ポリシーを開発すること。
• 人間ドライバーとAVの相互作用を同定すること、特に制御不能なAVの行動推定とモデリングを含む。
• 社会学や法制度と統合することで、倫理的で説明可能かつ公平なAV意思決定を進める。

提案手法

• AVの展開を4段階に分類する：完全にHVs、HVs優勢、AV優勢、完全にAV。混在自律性の課題に焦点を当て、後述の3段階を対象とする。
• ゲーム理論的モデルを用いて、混在交通環境におけるAVと人間ドライバー間の戦略的相互作用を分析する。
• 大規模な交通データから最適な運転ポリシーを学習するために、深層強化学習（DRL）と逆強化学習（IRL）を適用する。
• 示された軌道から学習することで人間の運転行動をモデリングする模倣学習（IL）を用い、サンプルバイアスを低減する。
• 古典的交通モデル（ミクロ、メソ、マクロスケール）からの事前知識を統合し、AIベースのポリシーの一般化を制約・向上させる。
• 微視的AV行動とマクロスケール交通システムのパフォーマンスを結ぶマルチスケールモデリングフレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 人間ドライバーと制御不能なAVを含む混在交通環境において、多数のAVを効果的に制御するスケーラブルな運転ポリシーは何か？
• RQ2 多様な走行条件と異種のリスクプロファイル下で、人間ドライバー行動を正確に推定・モデリングするにはどうすればよいか？
• RQ3 混在交通シミュレーションおよび制御フレームワークにおいて、制御不能なAVの運転行動はどのように表現すべきか？
• RQ4 人間ドライバーとAVの複雑な相互作用は、安全性、効率性、および出現する交通ダイナミクスの観点からどのように特徴づけられるか？
• RQ5 AIガイダンスAV制御システムを、説明可能で公平かつ社会的価値観と整合させるにはどうすればよいか？

主な発見

• 深層強化学習や模倣学習などのAIガイダンス手法は、混在交通環境におけるスケーラブルで適応性のある運転ポリシーの学習において強く有望な可能性を示している。
• 逆強化学習（IRL）は、小規模なデータセットでも高いロバスト性を示し、人間行動モデリングにおけるデータ不足とサンプルバイアスの課題に対して有望な解決策を提供する。
• 既存の物理ベースモデルは、AIドリブンポリシーの一般化を制約・向上させる貴重な事前知識を提供する。
• HVs優勢およびAV優勢の段階が、人間と自律車両の予測不能で多様な相互作用のため、モデリングの複雑さが最も高い。
• フィールド実験の設計はまだ十分に検討されておらず、トレーニングデータとテストデータの選択がモデルの予測性能および耐性に与える影響に大きな不確実性が残っている。
• 倫理的で説明可能かつ公平なAV意思決定は、まだ未解決の課題であり、工学、法制度、社会科学の分野間連携が不可欠である。