[論文レビュー] Integrated Decision and Control: Towards Interpretable and Computationally Efficient Driving Intelligence

Yang Guan, Yangang Ren+6 more|arXiv (Cornell University)|Mar 18, 2021

Autonomous Vehicle Technology and Safety参考文献 34被引用数 4

ひとこと要約

本稿では、自動運転車向けに解釈可能で計算効率の高いフレームワークである統合意思決定と制御（IDC）を提案する。このフレームワークは、走行を静的経路計画と動的最適追従に階層的に分解する。経路追従を制約付き最適制御問題（OCP）として定式化し、モデルベース強化学習アルゴリズムを用いて事前にオフラインで解くことで、価値関数および方策関数ネットワークを学習する。これにより、従来手法と比較して数個のオーダーの高い効率性を達成するとともに、リアルタイムでの経路選択と制御が可能となり、安全性と交通効率の面でも優れた性能を発揮する。

ABSTRACT

Decision and control are core functionalities of high-level automated vehicles. Current mainstream methods, such as functionality decomposition and end-to-end reinforcement learning (RL), either suffer high time complexity or poor interpretability and adaptability on real-world autonomous driving tasks. In this paper, we present an interpretable and computationally efficient framework called integrated decision and control (IDC) for automated vehicles, which decomposes the driving task into static path planning and dynamic optimal tracking that are structured hierarchically. First, the static path planning generates several candidate paths only considering static traffic elements. Then, the dynamic optimal tracking is designed to track the optimal path while considering the dynamic obstacles. To that end, we formulate a constrained optimal control problem (OCP) for each candidate path, optimize them separately and follow the one with the best tracking performance. To unload the heavy online computation, we propose a model-based reinforcement learning (RL) algorithm that can be served as an approximate constrained OCP solver. Specifically, the OCPs for all paths are considered together to construct a single complete RL problem and then solved offline in the form of value and policy networks, for real-time online path selecting and tracking respectively. We verify our framework in both simulations and the real world. Results show that compared with baseline methods IDC has an order of magnitude higher online computing efficiency, as well as better driving performance including traffic efficiency and safety. In addition, it yields great interpretability and adaptability among different driving tasks. The effectiveness of the proposed method is also demonstrated in real road tests with complicated traffic conditions.

研究の動機と目的

• 既存の自動運転の意思決定と制御手法が抱える高コストな計算負荷と解釈不能性の問題に対処すること。
• 多様な走行シナリオにわたり、解釈可能性、計算効率、適応性をバランスさせる統合フレームワークを構築すること。
• オンライン計算負荷を軽減しつつも、安全性と交通効率の面で高い性能を維持すること。
• 人間の干渉やセンサーノイズを含む複雑な現実世界の走行環境でも、堅牢なリアルタイム動作を可能にすること。
• 一般化が可能で、異なる走行タスクやシナリオに対応できる構造的でモジュール化されたシステムを提供すること。

提案手法

• 走行タスクを静的障害物のみを考慮する静的経路計画と、動的障害物および車両動態を考慮する動的最適追従に階層的に分解する。
• 各候補経路に対して、動的制約下でも安全かつ滑らかに追従できるように、制約付き最適制御問題（OCP）を定式化する。
• すべてのOCPを一括して事前にオフラインで解くためのモデルベース強化学習（RL）アルゴリズムを提案し、近似価値関数および方策関数ネットワークを学習する。
• オンラインでは学習済みの価値関数および方策関数ネットワークを用いて、リアルタイムでの経路選択と制御を実行し、高コストなオンライン最適化を回避する。
• オフライン学習により事前に解を計算することで、オンライン推論時間を著しく短縮しつつ、性能を維持する。
• 学習済みの価値関数および方策関数を直接意思決定および制御論理にマッピングすることで、解釈可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 自動運転の意思決定と制御において、計算効率、解釈可能性、耐障害性を同時に達成できる統合フレームワークを設計可能か？
• RQ2 複数の候補経路に対する制約付き最適制御問題を、リアルタイムでの経路選択と追従を可能にするために、どのように効率的に事前にオフラインで解けるか？
• RQ3 提案手法のモデルベースRLアプローチは、従来手法と比較して、センサーノイズや人為的干渉の影響をどの程度耐えられるか？
• RQ4 安全性と交通効率を維持したまま、多様な走行タスクやシナリオに一般化可能か？
• RQ5 エンドツーエンドの深層強化学習手法と比較して、学習済み方策関数および価値関数の解釈性はどの程度高いか？

主な発見

• IDCフレームワークは、従来のルールベース手法と比較して、オンライン計算効率が1桁以上向上し、リアルタイムの計算負荷が著しく軽減された。
• シミュレーションおよび実世界の交差点テストの両方で、交通効率および安全性の面で優れた走行性能を示した。
• センサーノイズが中程度のレベル（ノイズレベル0〜3）までにもかかわらず、状態分散および境界の増加はわずかに抑えられ、安定した車両動態を維持した。
• ステアリングホイルへの急な人為的干渉に対しても、運転継続後すぐに車両状態を是正し、意図した走行を再開することができた。
• 学習済みの価値関数および方策関数は、経路選択と制御行動に直接対応しているため、ブラックボックス型のエンドツーエンドモデルとは異なり、内在的な解釈可能性を有する。
• 複雑な実際の交差点での左折走行を含む、さまざまな走行タスクに対して、優れた適応性を示した。