[논문 리뷰] Uncertainty-Aware Reinforcement Learning for Collision Avoidance

Gregory Kahn, Adam Villaflor외 3명|arXiv (Cornell University)|2017. 02. 03.

Reinforcement Learning in Robotics참고 문헌 27인용 수 226

한 줄 요약

논문은 불확실성 인식 모델 기반 RL 방법을 제시하며, 충돌 확률을 신경망으로 예측하고 부트스트래핑과 드롭아웃으로 불확실성을 추정하여 속도 의존적 충돌 비용을 유도하여 안전한 탐색과 충돌 회피를 위한 효과적인 학습을 가능하게 한다.

ABSTRACT

Reinforcement learning can enable complex, adaptive behavior to be learned automatically for autonomous robotic platforms. However, practical deployment of reinforcement learning methods must contend with the fact that the training process itself can be unsafe for the robot. In this paper, we consider the specific case of a mobile robot learning to navigate an a priori unknown environment while avoiding collisions. In order to learn collision avoidance, the robot must experience collisions at training time. However, high-speed collisions, even at training time, could damage the robot. A successful learning method must therefore proceed cautiously, experiencing only low-speed collisions until it gains confidence. To this end, we present an uncertainty-aware model-based learning algorithm that estimates the probability of collision together with a statistical estimate of uncertainty. By formulating an uncertainty-dependent cost function, we show that the algorithm naturally chooses to proceed cautiously in unfamiliar environments, and increases the velocity of the robot in settings where it has high confidence. Our predictive model is based on bootstrapped neural networks using dropout, allowing it to process raw sensory inputs from high-bandwidth sensors such as cameras. Our experimental evaluation demonstrates that our method effectively minimizes dangerous collisions at training time in an obstacle avoidance task for a simulated and real-world quadrotor, and a real-world RC car. Videos of the experiments can be found at https://sites.google.com/site/probcoll.

연구 동기 및 목표

• 학습 중 충돌이 발생할 수 있는 알려지지 않은 환경에서 안전한 학습을 촉진한다.
• 원시 센서 입력에서 작동하는 불확실성 인식 충돌 예측 모델 개발.
• 불확실성을 활용한 속도 의존적 충돌 비용을 도입하여 안전성과 과제 진행의 균형을 맞춘다.
• 시뮬레이션 및 실제 로봇(쿼드로터 및 RC카)에서 본 방법을 시연하고 불확실성 비기반 기준선과 비교한다.

제안 방법

• 불확실성 하에서의 네비게이션을 위한 재추정(horizon) MPC를 포함한 모델 기반 RL 프레임워크를 사용한다.
• 신경망을 사용해 충돌 확률을 예측하고, 계획 구간 내에서 P(coll | x, u, o)의 Bernoulli 매개변수를 출력한다.
• 사전 활성화 출력에 스케일된 표준편차 항을 더하여 위험 회피형 충돌 확률 P~(coll|x,u,o)를 정의한다.
• 고속 근접 충돌을 페널티하기 위한 속도 의존적 충돌 비용 C_coll = lambda_coll * ||vel||^2 도입.
• 부트스트래핑과 드롭아웃을 이용해 불확실성 추정을 학습하고 위험 회피 확률의 E[f_theta]와 Var[f_theta]를 얻는다.
• MPC를 이용해 궤적을 반복적으로 수집하고, 새로운 데이터로 충돌 예측기를 업데이트한 뒤 이를 반복한다.

실험 결과

연구 질문

• RQ1 학습 중 불확실성을 충돌 예측에 도입하면 안전성이 향상되나, 작업 성능을 지나치게 해치지 않는가?
• RQ2 부트스트래핑과 드롭아웃이 로봇 공학에서 고차원 센서 입력에 대한 의미 있는 불확실성 추정을 제공할 수 있는가?
• RQ3 속도 의존적이고 불확실성 인식된 충돌 비용이 미지의 환경에서의 탐색 및 학습 효율에 어떤 영향을 미치는가?

주요 결과

• 불확실성 인식 계획은 불확실성 비기반 기준선에 비해 학습 중 위험한 충돌을 감소시킨다.
• 불확실성 항( lambda_std )의 조정을 통해 안전성 및 최종 과제 성능 간의 트레이드오프가 발생한다.
• 상수 페널티 기준선과 비교할 때, 불확실성 인식 방법은 단순히 보수적으로 되는 것보다 안전성과 진행의 균형을 더 잘 맞춘다.
• 쿼드로터와 RC카를 사용한 실험은 실제 센서 및 작업에 방법의 응용 가능성을 보여준다.
• 이 방법은 불확실성이 낮은 영역에서 속도를 낮추고 불확실성이 높은 영역에서도 모델이 확신하는 영역에서는 더 높은 속도로 탐색할 수 있도록 하여 안전한 탐색을 가능하게 한다.