[논문 리뷰] Safety-Constrained Reinforcement Learning for MDPs

Sebastian Junges, Nils Jansen외 3명|arXiv (Cornell University)|2015. 10. 20.

Formal Methods in Verification참고 문헌 15인용 수 6

한 줄 요약

이 논문은 안전성 제약을 만족하면서도 탐색 과정에서 안전을 보장하기 위해, 먼저 안전하고 포괄적인 스케줄러를 계산한 후 SMT 기반 최적화와 Q-학습을 통해 이를 정교화하는 반복적 강화학습 프레임워크를 제안한다. 이 방법은 비용 최적성 향상 과정에서 안전성 제약을 지키며, 알려지지 않은 비용 함수에 대해 실용적 벤치마크에서 기대 비용에 대해 엄밀한 경계를 확보한 전역 최적 정책을 달성한다.

ABSTRACT

We consider controller synthesis for stochastic and partially unknown environments in which safety is essential. Specifically, we abstract the problem as a Markov decision process in which the expected performance is measured using a cost function that is unknown prior to run-time exploration of the state space. Standard learning approaches synthesize cost-optimal strategies without guaranteeing safety properties. To remedy this, we first compute safe, permissive strategies. Then, exploration is constrained to these strategies and thereby meets the imposed safety requirements. Exploiting an iterative learning procedure, the resulting policy is safety-constrained and optimal. We show correctness and completeness of the method and discuss the use of several heuristics to increase its scalability. Finally, we demonstrate the applicability by means of a prototype implementation.

연구 동기 및 목표

• 비용이 사전에 알려지지 않은 상황에서 안전성이 중요한 MDP에서 최적의 제어기를 합성하는 데 도전하는 것.
• 실행 중 비용이 알려지지 않은 상황에서 강화학습 탐색이 안전성 제약을 위반하지 않도록 보장하는 것.
• 모든 상태에서 다수의 안전한 동작을 허용하는 안전하고 포괄적인 스케줄러를 계산하여 안전 범위 내에서 탐색 범위를 넓히는 것.
• SMT 해결과 Q-학습을 통한 반복적 정교화를 통해 전역 최적 비용 성능으로 수렴하는 정책을 개선하는 것.
• 확률적 환경과 알려지지 않은 비용 함수를 포함한 실제 환경에서의 확장성과 정확성을 입증하는 것.

제안 방법

• 안전성 제약을 위반하지 않는 모든 동작을 포함하는 포괄적인 스케줄러를 SMT 해결을 통해 계산하여 안전성을 보장한다 (예: 경계 λ를 가진 확률적 도달 가능성).
• MDP의 동작 공간을 포괄적인 스케줄러에서 허용하는 동작들로 제한하여 모든 탐색이 안전하게 유지되도록 보장한다.
• 제한된 MDP에서 Q-학습을 적용하여 알려지지 않은 비용 함수에 대해 局부 최적 정책을 학습한다.
• 각 학습 반복 후, 학습된 정책을 향후 포괄적인 스케줄러 계산에서 명시적으로 제외하여 다른 안전한 전략을 탐색한다.
• 혼합정수선형계획법(MILP)을 사용하여 포괄적인 스케줄러를 효율적으로 인코딩하고 해결한다.
• 기대 비용에 대한 하한과 상한을 유지하며, 하한과 상한이 수렴하거나 알려진 하한을 통해 전역 최적성 증명이 가능할 경우 종료한다.

실험 결과

연구 질문

• RQ1 안전한 모든 동작을 포함하면서도 계산적으로 처리 가능한 포괄적인 스케줄러를 계산할 수 있는가?
• RQ2 실행 전 비용이 알려지지 않은 상황에서 강화학습 탐색이 안전성을 유지할 수 있는가?
• RQ3 비용 지식이 불완전한 상황에서도 전역 최적 안전 정책으로 수렴할 수 있는 반복 전략은 무엇인가?
• RQ4 SMT 해결과 MILP를 어떻게 조합하여 안전성 제약 하에서 효율적인 포괄적인 스케줄러를 계산할 수 있는가?
• RQ5 스케줄러 공간에서 히우리스틱 기반 탐색을 통해 포괄성과 확장성은 어느 정도 향상시킬 수 있는가?

주요 결과

• 이 방법은 로봇 주행 제어와 이동하는 청소부가 있는 환경, 통신 제약이 있는 준자율 탐색가를 포함한 네 가지 실제 벤치마크에서 안전하고 최적의 정책을 성공적으로 계산했다.
• Janitor 및 FolLine 사례 연구에서 첫 번째 반복에서 이미 엄밀한 비용 경계(하한: 84, 상한: 88.6 및 715.62, 716.83)를 확보하여 높은 포괄성과 조기에 수렴함을 보였다.
• ComExp 사례 연구에서는 초기 하한이 낮은 비용의 통신 불가 전략으로 인해 느슨했으나(0.3), 반복 과정에서 상당히 개선되어 7회 반복 후 78.2로 경계가 좁아졌으며, 반복적 개선을 입증했다.
• 프로토타입 구현은 2GB 메모리와 2.67GHz CPU 환경에서 모든 벤치마크에서 수렴을 달성하여 실용적 타당성을 입증했다.
• 높은 포괄성 스케줄러는 종종 솔버의 비가시 상태 처리 방식으로 인해 작은 도달 가능한 상태 공간을 유도함을 발견하여, 포괄성을 도달 가능한 상태로 제한할 필요가 있음을 시사했다.
• SMT 기반 포괄적 스케줄러 계산은 효과적이었지만, 목표 상태의 도달성을 강제로 적용할 경우 솔버 성능이 저하되어 도달성과 확장성 사이의 상충 관계가 있음을 시사했다.