[논문 리뷰] Improving Safety in Reinforcement Learning Using Model-Based Architectures and Human Intervention

Bharat Prakash, Mohit Khatwani외 2명|arXiv (Cornell University)|2019. 03. 22.

Safety Systems Engineering in Autonomy인용 수 12

한 줄 요약

이 논문은 모델 예측 제어(MPC), 인간 간섭을 모방하는 블로커 에이전트, 그리고 모델리스 미세조정을 통합한 하이브리드 모델 기반 강화학습 프레임워크를 제안한다. 이는 샘플 효율성과 안전성을 향상시킨다. 방법은 순수 모델리스 접근 방식에 비해 치명적인 상태 방문을 5배 줄였으며, 인간의 감시가 훨씬 적은 상황에서도 높은 작업 성능을 달성한다.

ABSTRACT

Recent progress in AI and Reinforcement learning has shown great success in solving complex problems with high dimensional state spaces. However, most of these successes have been primarily in simulated environments where failure is of little or no consequence. Most real-world applications, however, require training solutions that are safe to operate as catastrophic failures are inadmissible especially when there is human interaction involved. Currently, Safe RL systems use human oversight during training and exploration in order to make sure the RL agent does not go into a catastrophic state. These methods require a large amount of human labor and it is very difficult to scale up. We present a hybrid method for reducing the human intervention time by combining model-based approaches and training a supervised learner to improve sample efficiency while also ensuring safety. We evaluate these methods on various grid-world environments using both standard and visual representations and show that our approach achieves better performance in terms of sample efficiency, number of catastrophic states reached as well as overall task performance compared to traditional model-free approaches.

연구 동기 및 목표

• 실세계 강화학습에서 치명적인 실패가 허용되지 않는 불안정한 탐색 문제를 해결하기 위해.
• 학습 중 지속적인 인간 감시에 대한 의존도를 줄이기 위해, 이는 비용이 많이 들고 확장성이 떨어지기 때문이다.
• 모델 기반 계획과 인간 모방 학습을 융합하여 안전한 강화학습의 샘플 효율성을 향상시키기 위해.
• 복잡한 환경에서 더 빠르고 안전하며 효율적인 RL 에이전트의 학습을 가능하게 하기 위해.

제안 방법

• 환경 동역학을 학습하고, 정책 초기화를 위해 모델 예측 제어(MPC)를 통해 고품질의 트레이젝터리를 생성하는 모델 기반 접근 방식을 사용한다.
• 치명적인 상태로 이르는 행동을 차단하기 위해 인간 간섭을 모방하는 감독 학습자로서 블로커 에이전트를 훈련시킨다.
• 시스템은 먼저 200 에피소드 동안 MPC를 사용하여 블로커 훈련 및 정책 초기화를 위한 안전하고 고품질의 데이터를 수집한다.
• 모델 기반 단계 이후, MPC가 생성한 트레이젝터리를 기반으로 한 모델리스 정책 그래디언트 학습으로 전환한다.
• 블로커 에이전트는 모델 기반 단계 동안 수집된 데이터를 기반으로 훈련되어, 더 높은 품질의 간섭 행동을 보장한다.
• 프레임워크는 표준 및 시각적 상태 표현을 모두 사용하는 격자형 월드 및 시각적 탐색 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 하이브리드 모델 기반 및 모델리스 RL 프레임워크는 안전성과 성능을 유지하거나 향상시키면서 인간 간섭 시간을 줄일 수 있는가?
• RQ2 모델 기반 단계 동안 MPC가 생성한 트레이젝터리가 블로커 에이전트의 품질과 전체 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 모델 기반 데이터로 훈련된 블로커 에이전트가 치명적인 상태를 방지하는 데 있어 모델리스 데이터로 훈련된 에이전트보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 MPC와 블로커 에이전트의 조합이 표준 모델리스 RL에 비해 수렴 속도를 높이고 더 높은 작업 성능을 달성할 수 있는가?
• RQ5 제안된 프레임워크는 동일한 환경 동역학과 블로커를 가진 새로운 작업에 일반화 가능한가?

주요 결과

• 하이브리드 접근 방식은 4x4 격자형 월드와 섬 탐색 환경에서 표준 모델리스 정책 그래디언트 방법에 비해 치명적인 상태 수를 5배 감소시켰다.
• 시스템은 격자형 월드에서 최대 작업 보상(45점), 섬 탐색 환경에서 47점에 도달했으며, 모델리스 기준선은 최적 성능에 도달하지 못했다.
• 블로커 에이전트를 사용한 학습은 수렴 속도가 빨라, 샘플 효율성 향상과 더 안전한 탐색을 나타냈다.
• 모델 기반 데이터로 훈련된 블로커 에이전트는 더 높은 품질의 시연 데이터 덕분에 모델리스 데이터로 훈련된 에이전트보다 뛰어난 성능을 보였다.
• 표준 모델리스 접근 방식에 비해 훨씬 적은 학습 시간 동안 안정적인 정책 학습을 달성하여 샘플 효율성이 향상됨을 입증했다.
• 동역학 모델과 블로커 에이전트는 작업에 종속적이지 않아, 동일한 환경 동역학을 가진 새로운 작업에 재사용이 가능하다.