[논문 리뷰] Safe Reinforcement Learning by Imagining the Near Future

Thomas, Garrett, Yuan Luo외 1명|arXiv (Cornell University)|2022. 02. 15.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 짧은 수평선 예측을 통해 위험한 경로를 벌금으로 처벌함으로써 안전 위반을 방지하는 모델기반 강화학습 알고리즘인 안전 모델기반 정책 최적화(Safe Model-Based Policy Optimization, SMBPO)를 제안한다. 이 알고리즘은 모델 정확도 및 벌금 조건을 만족할 경우 이론적으로 안전을 보장하며, 연속 제어 과제에서 기존 모델기반 기반선 대비 훨씬 적은 안전 위반을 기록하면서도 경쟁 가능한 성능을 달성한다.

ABSTRACT

Safe reinforcement learning is a promising path toward applying reinforcement learning algorithms to real-world problems, where suboptimal behaviors may lead to actual negative consequences. In this work, we focus on the setting where unsafe states can be avoided by planning ahead a short time into the future. In this setting, a model-based agent with a sufficiently accurate model can avoid unsafe states. We devise a model-based algorithm that heavily penalizes unsafe trajectories, and derive guarantees that our algorithm can avoid unsafe states under certain assumptions. Experiments demonstrate that our algorithm can achieve competitive rewards with fewer safety violations in several continuous control tasks.

연구 동기 및 목표

• 안전한 행동이 물리적 또는 치명적인 피해를 초래할 수 있는 실제 RL 응용 분야에서의 안전 탐색 도전 과제를 해결한다.
• 단기 예측 수평선을 기반으로 계획을 수행함으로써 사전에 안전 위반을 예측하는 모델기반 접근법을 개발한다.
• 모델 정확도 및 충분한 벌금 크기 조건을 만족할 경우 이론적으로 위험한 상태를 피할 수 있음을 보장한다.
• 기존의 모델기반 기반선 대비 샘플 효율성과 안전성 간의 트레이드오프를 향상시킨다.
• 안전성이 극도로 중요한 분야인 로봇공학, 헬스케어, 자율주행 시스템에서의 실용적 구현을 가능하게 한다.

제안 방법

• 학습된 동역학 모델을 사용하여 정책 개선을 위한 짧은 수평선 상상 경로를 생성한다.
• 예측 수평선 내에서 위험 상태에 도달할 가능성이 높을수록 증가하는 안전 벌금 항목을 보상 함수에 도입한다.
• 모델이 충분히 정확할 경우 안전을 보장하는 데 필요한 벌금 계수 C의 이론적 상한을 유도한다.
• 안전 벌금을 통합한 수정된 수익을 사용하여 모델기반 정책 최적화를 수행함으로써 위험한 경로를 억제한다.
• 정책 학습의 안정성을 확보하고 큰 위험한 정책 변화를 방지하기 위해 신뢰 영역 업데이트를 적용한다.
• 모델 앙상블 예측을 활용하여 경로 롤아웃 동안의 불확실성 추정 및 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단지 몇 번의 타임스텝만 앞서 예측하는 모델기반 RL 알고리즘이 위험한 상태의 회피를 보장할 수 있는가?
• RQ2 모델 정확도 가정 하에 안전을 확보하기 위해 필요한 최소한의 벌금 크기는 얼마인가?
• RQ3 안전 벌금은 연속 제어 과제에서 학습 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ4 짧은 수평선 계획이 안전 위반 수와 샘플 효율성 측면에서 기존의 모델기반 기반선보다 뛰어나게 작용할 수 있는가?
• RQ5 동역학 모델이 완벽하지 않은 상황에서도 이론적 안전 보장이 실제 적용에서 유지되는가?

주요 결과

• 제안된 SMBPO 알고리즘은 최첨단 모델기반 기반선 대비 훨씬 적은 안전 위반을 기록하면서도 경쟁 가능한 누적 수익을 달성한다.
• 실험 결과, 벌금 계수 C를 증가시킬수록 안전 위반 수가 감소하지만 학습 속도는 느려지는 것으로 나타나, 이론적 트레이드오프가 확인되었다.
• 모델이 완벽하지 않은 경우에도 SMBPO는 Ant, Half-Cheetah, Walker2d와 같은 연속 제어 환경에서 위험한 상태를 성공적으로 피하는 데 성공했다.
• 모델이 짧은 예측 수평선 내에서 충분히 정확할 경우 이론적 안전 보장이 성립한다.
• 특히 높은 안전 제약 조건을 가진 환경에서 기존의 모델기반 기반선 대비 샘플 효율성이 향상됨을 보였다.
• 제거 실험 결과, 안전 벌금이 위반 수 감소에 필수적이며, 이를 제거할 경우 표준 RL 알고리즘과 유사한 높은 안전 비용을 기록함을 확인했다.