[論文レビュー] Integrated Decision and Control: Towards Interpretable and Efficient Driving Intelligence.

Yang Guan, Yangang Ren+4 more|arXiv (Cornell University)|Mar 18, 2021

Autonomous Vehicle Technology and Safety参考文献 33被引用数 5

ひとこと要約

本稿では、モデルベース強化学習を用いた手法により、複数路線計画と最適トラッキングを分離することで、階層的で解釈可能かつ効率的な自律走行の意思決定・制御フレームワークを提案する。候補路線に対して制約付き最適制御問題（OCP）を定式化し、マルチタスク強化学習を用いて事前に最適化することで、ベースラインと比較して計算効率、安全性、交通効率に優れたリアルタイムのオンライン路線選択とトラッキングを実現する。

ABSTRACT

Decision and control are two of the core functionalities of high-level automated vehicles. Current mainstream methods, such as functionality decomposition or end-to-end reinforcement learning (RL), either suffer high time complexity or poor interpretability and limited safety performance in real-world complex autonomous driving tasks. In this paper, we present an interpretable and efficient decision and control framework for automated vehicles, which decomposes the driving task into multi-path planning and optimal tracking that are structured hierarchically. First, the multi-path planning is to generate several paths only considering static constraints. Then, the optimal tracking is designed to track the optimal path while considering the dynamic obstacles. To that end, in theory, we formulate a constrained optimal control problem (OCP) for each candidate path, optimize them separately and choose the one with the best tracking performance to follow. More importantly, we propose a model-based reinforcement learning (RL) algorithm, which is served as an approximate constrained OCP solver, to unload the heavy computation by the paradigm of offline training and online application. Specifically, the OCPs for all paths are considered together to construct a multi-task RL problem and then solved offline by our algorithm into value and policy networks, for real-time online path selecting and tracking respectively. We verify our framework in both simulation and the real world. Results show that our method has better online computing efficiency and driving performance including traffic efficiency and safety compared with baseline methods. In addition, it yields great interpretability and adaptability among different driving tasks. The real road test also suggests that it is applicable in complicated traffic scenarios without even tuning.

研究の動機と目的

• 既存の自律走行車両の意思決定・制御手法の限界、例えば高い計算複雑性と低い解釈可能性を解消すること。
• 動的障害物と静的制約が共存する現実世界の複雑な走行シナリオにおいて、安全性と交通効率を向上させること。
• 多様な走行タスクにわたる高い解釈可能性と適応性を備えたリアルタイム意思決定を可能にするフレームワークの開発。
• マルチタスク強化学習の枠組みを用いて、複雑な最適化を事前学習に移譲することで、オンライン計算負荷を低減すること。
• 現実世界の導入においてハイパーパrameterチューニングを一切行わずに、高い性能を維持すること。

提案手法

• 走行タスクを2段階の階層的段階に分解する：静的制約下での複数路線計画と、動的障害物を考慮した最適トラッキング。
• 各候補路線に対してトラッキング性能を評価するための制約付き最適制御問題（OCP）を定式化する。
• OCPの近似ソルバーとしてのモデルベース強化学習アルゴリズムを設計し、事前に価値関数および方策関数ネットワークの計算を可能にする。
• すべての候補路線のOCPを同時に最適化するマルチタスク強化学習モデルを訓練し、効率的なオンライン推論を可能にする共通表現を生成する。
• 訓練済みの方策関数ネットワークを用いてリアルタイムの路線選択を実行し、価値関数ネットワークを用いて動的障害物回避を伴うオンライントラッキング制御を実現する。
• シミュレーションおよび実世界のテストにおいてフレームワークを適用し、タスク固有のチューニングなしに性能と一般化能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 階層的意思決定・制御フレームワークは、複雑な自律走行シナリオにおける計算効率と安全性を向上させることができるか？
• RQ2 モデルベース強化学習と制約付き最適制御を統合することで、解釈可能性とリアルタイム性能はどのように向上するか？
• RQ3 1つの訓練済みモデルが、再チューニングなしに多様な走行タスクにどの程度一般化できるか？
• RQ4 交通効率および安全性指標において、本手法はエンドツーエンド強化学習および機能的分解手法を上回る性能を示すか？
• RQ5 ドメイン適応を最小限に抑えて、実世界環境でも高い性能を維持できるか？

主な発見

• マルチタスク強化学習によるOCPの事前最適化のおかげで、ベースライン手法と比較してオンライン計算効率が顕著に向上した。
• シミュレーションおよび実世界テストの両方で、エンドツーエンド強化学習および機能的分解ベースラインと比較して、交通効率と安全性の両面で優れた性能を示した。
• 意思決定が明確な最適化目的を持つ経路計画とトラッキングに基づいているため、フレームワークは高い解釈可能性を示した。
• 実走行テストでは、ハイパーパrameterチューニングを一切行わずに、複雑な交通シナリオにおける手法の頑健性と適応性が確認された。
• モデルベース強化学習アプローチにより、オンライン計算負荷が効果的に低減されつつ、高いトラッキング精度と安定性を維持した。
• フレームワークは、トラッキング中に動的障害物を効果的に処理しながら、多様な走行タスクにおいて安全性と効率性を両立した。