[논문 리뷰] Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach

Subin Huh, Insoon Yang|arXiv (Cornell University)|2020. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 24

한 줄 요약

이 논문은 라플라스 기반 안전 제약과 확률적 도달 가능성 분석을 통합하여 확률적 안전성을 보장하는 모델 프리 강화학습 프레임워크를 제안한다. 가치 함수 기반 라플라스 함수를 활용해 안전 정책의 순차적 개선을 통해 안전 탐색과 최대 안전 영역으로의 수렴을 가능하게 하며, 고차원 제어 과제를 위한 딥 RL로의 확장은 라그랑주 승수 방법을 통해 이뤄진다.

ABSTRACT

Emerging applications in robotics and autonomous systems, such as autonomous driving and robotic surgery, often involve critical safety constraints that must be satisfied even when information about system models is limited. In this regard, we propose a model-free safety specification method that learns the maximal probability of safe operation by carefully combining probabilistic reachability analysis and safe reinforcement learning (RL). Our approach constructs a Lyapunov function with respect to a safe policy to restrain each policy improvement stage. As a result, it yields a sequence of safe policies that determine the range of safe operation, called the safe set, which monotonically expands and gradually converges. We also develop an efficient safe exploration scheme that accelerates the process of identifying the safety of unexamined states. Exploiting the Lyapunov shielding, our method regulates the exploratory policy to avoid dangerous states with high confidence. To handle high-dimensional systems, we further extend our approach to deep RL by introducing a Lagrangian relaxation technique to establish a tractable actor-critic algorithm. The empirical performance of our method is demonstrated through continuous control benchmark problems, such as a reaching task on a planar robot arm.

연구 동기 및 목표

• 시스템 동역학 지식 없이도 확률적 시스템에서 안전성을 보장하는 모델 프리 강화학습 방법을 개발하는 것.
• 정책 개선 및 평가 단계에 라플라스 제약 조건을 통합하여 학습 전 과정에서 안전성을 보장하는 것.
• 가장 안전하지 않은 정책을 우선적으로 탐색하여 안전 영역을 효율적으로 확장하고 정밀화함으로써 안전 탐색을 가속화하는 것.
• 라그랑주 승수 방법을 활용해 고차원 시스템에 대한 확장성을 확보하고, 계산이 가능하도록 액터-크리틱 학습을 통합하는 것.
• 연속 제어 벤치마크에서의 경험적 검증을 통해 안전성과 샘플 효율성 향상을 입증하는 것.

제안 방법

• 정책 개선 과정에서 가치 함수 기반 라플라스 함수를 사용해 안전 제약 조건을 강제함으로써, 각 갱신된 정책가 안전 영역 내에 유지되도록 보장한다.
• 벨먼 재귀를 활용해 라플라스 함수를 통해 확률적 안전 보장을 유지하며, 위험 상태에 도달할 확률을 제한한다.
• 최소 안전성 정책을 선택하여 불확실하거나 고위험 영역을 우선적으로 탐색하는 안전 탐색 기법을 도입한다.
• 라그랑주 승수 방법을 적용해 라플라스 제약 조건을 정규화 항으로 전환함으로써, 표준 딥 액터-크리틱 알고리즘과 통합할 수 있도록 한다.
• 확률적으로 위험 상태를 피할 수 있는 상태 영역의 최대값을 근사하는 단조적으로 확장되는 안전 영역을 구성한다.
• 특정 아키텍처(예: 두 개의 ReLU 은닉층)와 경험 재생, 온스타인-율러우 노이즈 등의 학습 기법을 활용해 딥 신경망을 구현한다.

실험 결과

연구 질문

• RQ1 모델 프리 강화학습 방법이 시스템 동역학 지식 없이도 학습 전 과정에서 안전성을 보장할 수 있는가?
• RQ2 라플라스 함수는 확률적 시스템에서 위험 상태 방문 확률을 어떻게 제한할 수 있는가?
• RQ3 어떤 탐색 전략이 안전 영역을 효율적으로 확장하면서도 안전성을 유지할 수 있는가?
• RQ4 고차원 제어 과제에 대해 라플라스 제약 조건을 딥 강화학습에 효과적으로 통합할 수 있는가?
• RQ5 제안된 방법은 최대 안전 영역으로 수렴하는가, 그리고 샘플 효율성과 안전성 면에서 기준 방법보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 각 정책 개선 단계에서 라플라스 제약 조건을 강제함으로써 학습 전 과정에서 안전성을 보장하며, 위험 상태에 도달하지 않도록 한다.
• 근사 오차가 없을 경우 안전 영역은 단조적으로 확장되며 최대 안전 영역으로 수렴한다.
• 가장 안전하지 않은 정책을 우선적으로 타겟으로 삼는 안전 탐색 기법은 안전 영역의 식별과 정밀화를 가속화하며 샘플 효율성을 향상시킨다.
• 라그랑주 승수 방법을 활용한 딥 RL 구현은 고차원 연속 제어 과제(예: Reacher 환경)로의 확장을 성공적으로 수행한다.
• Reacher 및 통합자 환경에서의 경험적 결과는 제안된 방법이 안전성과 수렴 속도 면에서 기준 방법을 능가함을 보여준다.
• 확률적 환경에서도 안전성에 대한 높은 신뢰를 유지하며, 라플라스 실드 기법이 위험한 상태로의 탐색을 효과적으로 방지한다.