[論文レビュー] Uncertainty-Aware Reinforcement Learning for Collision Avoidance

Gregory Kahn, Adam Villaflor+3 more|arXiv (Cornell University)|Feb 3, 2017

Reinforcement Learning in Robotics参考文献 27被引用数 226

ひとこと要約

本研究はニューラルネットワークで衝突確率を予測し、ブートストラッピングとドロップアウトで不確実性を推定する不確実性を考慮したモデルベースRL手法を提案する。これにより速度依存の衝突コストを導き、衝突回避の安全な探索と効果的な学習を実現する。

ABSTRACT

Reinforcement learning can enable complex, adaptive behavior to be learned automatically for autonomous robotic platforms. However, practical deployment of reinforcement learning methods must contend with the fact that the training process itself can be unsafe for the robot. In this paper, we consider the specific case of a mobile robot learning to navigate an a priori unknown environment while avoiding collisions. In order to learn collision avoidance, the robot must experience collisions at training time. However, high-speed collisions, even at training time, could damage the robot. A successful learning method must therefore proceed cautiously, experiencing only low-speed collisions until it gains confidence. To this end, we present an uncertainty-aware model-based learning algorithm that estimates the probability of collision together with a statistical estimate of uncertainty. By formulating an uncertainty-dependent cost function, we show that the algorithm naturally chooses to proceed cautiously in unfamiliar environments, and increases the velocity of the robot in settings where it has high confidence. Our predictive model is based on bootstrapped neural networks using dropout, allowing it to process raw sensory inputs from high-bandwidth sensors such as cameras. Our experimental evaluation demonstrates that our method effectively minimizes dangerous collisions at training time in an obstacle avoidance task for a simulated and real-world quadrotor, and a real-world RC car. Videos of the experiments can be found at https://sites.google.com/site/probcoll.

研究の動機と目的

• 訓練中に衝突が生じ得る未知の環境における安全な学習を動機づける。
• 生の感覚入力上で動作する不確実性を考慮した衝突予測モデルを開発する。
• 安全とタスク進行のバランスを取るため、不確実性を活用した速度依存型の衝突コストを組み込む。
• シミュレータと実機ロボット（クアッドローターとRCカー）で手法をデモンストレーションし、不確実性を用いないベースラインと比較する。

提案手法

• 不確実性下でのナビゲーションのため、リカレントホライゾン MPC (recurring-horizon MPC) を用いたモデルベースRLフレームワークを用いる。
• 計画 horizon 内で P(coll | x, u, o) のBernoulliパラメータを出力するニューラルネットワークを用いて衝突確率を予測する。
• 事前活性化出力にスケーリングされた標準偏差項を加える形で、リスク回避的な衝突確率 ~P(coll|x,u,o) を定義する。
• 高速度での近接衝突を抑制するため、C_coll = lambda_coll * ||vel||^2 という速度依存の衝突コストを導入する。
• ブートストラッピングとドロップアウトを用いて不確実性推定を訓練し、リスク回避的確率のための E[f_theta] と Var[f_theta] を得る。
• MPC を用いて軌道を反復的に収集し、新しいデータで衝突予測器を更新して繰り返す。

Figure 2 : Comparison of safety versus task performance in simulation : We investigated the effect of changing parameters in Eqn. 1 on crash speeds experienced during all training iterations (y-axis) versus the desired objective of flying forward at 0.5 m/s (x-axis). (a) shows the effect of changing

実験結果

リサーチクエスチョン

• RQ1 不確実性を衝突予測に組み込むことは、トレーニング中の安全性を改善しつつ、タスク性能を過度に損なわないのか。
• RQ2 ブートストラッピングとドロップアウトは、ロボティクスにおける高次元の感覚入力に対して意味のある不確実性推定を提供できるのか。
• RQ3 速度依存型で不確実性を考慮した衝突コストは、未知環境での探索と学習効率にどのように影響するのか。

主な発見

• 不確実性を考慮した計画は、非不確実性ベースラインと比較してトレーニング時の危険な衝突を減らす。
• 不確実性項の調整（lambda_std）を通じて、安全と最終タスク性能のトレードオフが生じる。
• 一定のペナルティを課すベースラインと比較して、不確実性を考慮した方法は安全性と進捗のバランスをより適切に取ることができ、過度に保守的にはならない。
• クアッドローターとRCカーを用いた実世界の実験は、実際のセンサーとタスクへの適用性を示す。
• モデルが自信を持てる領域では高速度のプレイを選好し、低速で不確実な領域を優先することで安全な探索を実現する。

Figure 3 : Simulation