[論文レビュー] Design Space of Behaviour Planning for Autonomous Driving

Marko Ilievski, Sean Sedwards+7 more|arXiv (Cornell University)|Aug 21, 2019

Reinforcement Learning in Robotics参考文献 65被引用数 8

ひとこと要約

本稿は、環境表現、運動計画アーキテクチャ、意思決定論理の実装という3つのコアな軸に沿って、自律走行における行動計画の設計空間を体系的にマッピングする。離散的・連続的抽象化、行動計画と局所計画の統合レベル、従来の論理と学習済み論理の間のトレードオフを分析し、安全で高性能な意思決定を実現するための今後の有望な方向性として、プログラムされた論理によって監視されるハイブリッドで学習されたシステムを提唱する。

ABSTRACT

We explore the complex design space of behaviour planning for autonomous driving. Design choices that successfully address one aspect of behaviour planning can critically constrain others. To aid the design process, in this work we decompose the design space with respect to important choices arising from the current state of the art approaches, and describe the resulting trade-offs. In doing this, we also identify interesting directions of future work.

研究の動機と目的

• 自律走行における行動計画の複雑な設計空間を体系化し、実践的開発および研究を支援すること。
• 環境表現における離散的抽象化と連続的抽象化の間の主なトレードオフ、計画アーキテクチャの統合、意思決定論理の実装を特定・分析すること。
• 行動計画における学習済み論理（例：深層強化学習）と従来のプログラミングの有効性を評価すること。
• 現在のアプローチの限界を明らかにし、安全性と性能を向上させるために、学習済み論理とプログラムされた論理を組み合わせたハイブリッドシステムを提唱すること。
• モデルベース強化学習、階層的強化学習、例と相互作用からのハイブリッド学習といった、未だ十分に探査されていない研究分野を同定すること。

提案手法

• 環境表現（例：生センサデータ、地図、グリッド、潜在表現）、運動計画アーキテクチャ（例：モジュラー対統合型BP-LP、予測統合）、意思決定論理（例：手続き的、エキスパートシステム、学習済み論理）という3つの主軸に沿って、行動計画の設計空間を分解する。
• 特徴図を用いて設計選択とその相互依存関係を視覚的に表現し、設計空間の体系的探索を可能にする。
• 各軸に沿った最先端の手法をレビューする。これには、深層強化学習、模倣学習、モンテカルロツリー探索、モデルベース強化学習が含まれる。
• 計算複雑性、頑健性、安全性、適応性の観点から、異なる設計構成におけるトレードオフを分析する。
• 将来の高性能システムは、安全性と信頼性を確保するため、学習モデルと手動で検証された論理を組み合わせたハイブリッド型であるべきだと提唱する。
• 継続的学習における深刻な忘却や、複数目的環境における報酬設計の難しさといった課題を議論する。

実験結果

リサーチクエスチョン

• RQ1 点群、占有グリッド、潜在特徴など、異なる環境表現は、行動計画の複雑性とパフォーマンスにどのように影響するか？
• RQ2 動的走行環境において、行動計画と局所計画のモジュラー型と統合型アーキテクチャの間には、どのようなトレードオフがあるか？
• RQ3 従来のプログラミング、エキスパートシステム、学習モデルといった異なる意思決定論理実装方法は、安全性、適応性、拡張性の観点でどのように比較できるか？
• RQ4 強化学習を行動計画に適用するにあたり、特に報酬関数設計と一般化性に関する主な課題は何か？
• RQ5 学習済み論理とプログラムされた論理を組み合わせたハイブリッドシステムは、完全に学習された手法や完全に記号的アプローチに比べ、より優れた安全性とパフォーマンスを達成できるか？

主な発見

• 環境の抽象化と計算複雑性の間に根本的なトレードオフがある。より抽象化された表現は複雑性を低減するが、詳細を失う可能性がある。
• 行動計画と局所計画の統合型アーキテクチャは、予測が意思決定と密接に統合されている場合に特に、性能と応答性を向上させる傾向がある。
• 学習済み論理、特に深層強化学習は、複雑な環境でも頑健な意思決定を可能にするが、安全性の検証と報酬設計の面で課題を抱える。
• 階層的およびモデルベース強化学習は、サンプル効率を向上させ、分散を低減するため、スケーラブルな行動計画において有望である。
• 例からの学習（例：模倣学習）と相互作用からの学習（例：強化学習）を組み合わせることで収束が加速し、頑健性が向上する。これは、ハイブリッド学習が将来の有望な方向性であることを示唆している。
• 現在、行動計画システムを評価するための標準化されたベンチマークは存在しないため、分野の評価インfraの重要なギャップが浮き彫りになっている。