[논문 리뷰] Generalizing from a few environments in safety-critical reinforcement learning

Zachary Kenton, Angelos Filos외 2명|arXiv (Cornell University)|2019. 07. 02.

Reinforcement Learning in Robotics참고 문헌 34인용 수 9

한 줄 요약

이 논문은 적은 수의 훈련 환경에서 딥 강화학습의 안전성 일반화를 조사하며, 재해를 줄이기 위해 앙상블 방법과 불확실성 추정을 제안한다. 그리드월드에서는 단순한 수정 사항인 앙상블 평균화가 실패를 감소시키는 데 효과적이지만, 더 복잡한 CoinRun 환경에서는 그 효과가 떨어진다. 그러나 앙상블 가치 함수에서 유도된 불확실성은 향후 재해를 신뢰성 있게 예측할 수 있게 하여 사전에 인간의 간섭을 가능하게 한다.

ABSTRACT

Before deploying autonomous agents in the real world, we need to be confident they will perform safely in novel situations. Ideally, we would expose agents to a very wide range of situations during training, allowing them to learn about every possible danger, but this is often impractical. This paper investigates safety and generalization from a limited number of training environments in deep reinforcement learning (RL). We find RL algorithms can fail dangerously on unseen test environments even when performing perfectly on training environments. Firstly, in a gridworld setting, we show that catastrophes can be significantly reduced with simple modifications, including ensemble model averaging and the use of a blocking classifier. In the more challenging CoinRun environment we find similar methods do not significantly reduce catastrophes. However, we do find that the uncertainty information from the ensemble is useful for predicting whether a catastrophe will occur within a few steps and hence whether human intervention should be requested.

연구 동기 및 목표

• 제한된 수의 환경에서 훈련된 강화학습 에이전트가 새로운 환경으로의 안전성 성능 일반화 수준을 평가하는 것.
• 모델 앙상블과 불확실성 추정이 배포 중 위험한 실패를 줄이는 데 기여하는지 조사하는 것.
• 앙상블 에이전트에서 유도된 예측 불확실성이 복잡한 환경(예: CoinRun)에서 향후 재해를 사전에 신호로 제공할 수 있는지 확인하는 것.
• 간단한 그리드월드와 더 복잡한 환경(예: CoinRun) 간 이러한 방법의 효과성을 비교하는 것.

제안 방법

• 그리드월드 및 CoinRun 환경에서 초기 상태 분포에 대해 DQN과 PPO 에이전트를 훈련하고, 지도학습과 유사한 훈련/테스트 분할을 적용한다.
• 일반화 성능 향상과 가치 함수의 예측 불확실성 추정을 위해 모델 앙상블과 드롭아웃을 적용한다.
• 앙상블 가치 함수의 평균과 표준편차를 조합한 식별 함수를 사용해 시간 창 내 재해를 예측한다.
• 1000개의 테스트 환경을 대상으로 다양한 시간 창과 훈련 수준에서 AUC 점수와 ROC 곡선을 사용해 예측 성능을 평가한다.
• 이진 분류 설정을 구현하여 에이전트가 dt 단계 내에 재해가 발생할지를 예측하고, 불확실성을 인간 간섭 요청의 신호로 사용한다.
• 다양한 훈련 제도 크기에서 앙상블 방법, 단일 에이전트, 무작위 기준선 간의 분석을 수행한다.

실험 결과

연구 질문

• RQ1 단지 몇 개의 환경에서 훈련된 딥 강화학습 에이전트가 새로운 환경에서 위험한 행동을 피할 수 있는가?
• RQ2 앙상블 방법과 불확실성 추정이 안전성에 민감한 강화학습에서 치명적인 실패를 크게 줄일 수 있는가?
• RQ3 CoinRun과 같은 복잡한 환경에서 가치 함수 앙상블의 예측 불확실성은 미래의 재해를 사전에 예측하는 데 유용한가?
• RQ4 중간에 낙하 등의 장기적인 위험 특성은 일반화 및 예측 성능에 어떤 영향을 미치는가?
• RQ5 불확실성 기반 신호가 재해 발생 이전에 신뢰성 있게 인간 간섭을 유도할 수 있는가?

주요 결과

• 그리드월드에서는 앙상블 모델 평균화와 차단 분류기 모두 재해를 크게 감소시켰으며, 단지 10개의 훈련 환경에서도 효과적이었다.
• CoinRun에서는 표준 앙상블 평균화가 단일 PPO 에이전트보다 재해 감소나 성공률 향상에서 유의미하게 뛰어나지 못했다.
• 앙상블 가치 함수의 불확실성(표준편차)은 향후 재해를 예측하는 데 유용했으며, 10개의 훈련 수준에서 짧은 예측 창(dt=1)에 대해 AUC 점수 0.8 이상을 기록했다.
• 시간 창이 넓어지거나 더 많은 훈련 수준을 사용할수록 예측 성능이 저하되어 장기 예측에서의 일반화 과제를 시사했다.
• 앙상블 기반의 불확실성 신호는 무작위 예측보다 우수했으며, 임박한 실패에 대한 효과적인 조기 경고를 가능하게 했다.
• 결과적으로 불확실성 추정은 실세계 강화학습 배포에서 사전 안전 제어를 위한 타당한 메커니즘이라는 것이 제안된다.