[논문 리뷰] Shielded Reinforcement Learning for Hybrid Systems

Asger Horn Brorholt, Peter Gjøl Jensen외 3명|arXiv (Cornell University)|2023. 08. 28.

Adversarial Robustness in Machine LearningComputer Science참고 문헌 47인용 수 3

한 줄 요약

이 논문은 시뮬레이션 기반 방법을 제안하여 하이브리드 마르코프 결정 과정(HMDP)에 대해 안전 실드를 합성한다. 체계적 표본 추출을 통해 이중 플레이어 안전 게임을 근사화함으로써 통계적으로 안전하고 거의 최적의 강화 학습을 가능하게 한다. 이 방법은 보상 형태 조정과 후처리 실드보다 우수하며, 산업 사례 연구에서 사전 실드 적용이 더 뛰어난 성능과 안전 보장을 제공한다.

ABSTRACT

Safe and optimal controller synthesis for switched-controlled hybrid systems, which combine differential equations and discrete changes of the system's state, is known to be intricately hard. Reinforcement learning has been leveraged to construct near-optimal controllers, but their behavior is not guaranteed to be safe, even when it is encouraged by reward engineering. One way of imposing safety to a learned controller is to use a shield, which is correct by design. However, obtaining a shield for non-linear and hybrid environments is itself intractable. In this paper, we propose the construction of a shield using the so-called barbaric method, where an approximate finite representation of an underlying partition-based two-player safety game is extracted via systematically picked samples of the true transition function. While hard safety guarantees are out of reach, we experimentally demonstrate strong statistical safety guarantees with a prototype implementation and UPPAAL STRATEGO. Furthermore, we study the impact of the synthesized shield when applied as either a pre-shield (applied before learning a controller) or a post-shield (only applied after learning a controller). We experimentally demonstrate superiority of the pre-shielding approach. We apply our technique on a range of case studies, including two industrial examples, and further study post-optimization of the post-shielding approach.

연구 동기 및 목표

• 연속적이고 이산적인 동역학을 포함한 복잡한 하이브리드 시스템에 대해 안전하고 최적의 제어기를 합성하는 데 도전하는 것.
• 비선형 및 하이브리드 환경에서 정확한 실드 합성의 비가역성 문제를 극복하기 위해 표본 추출을 통한 전이 관계 근사화.
• Uppaal Stratego와 통합된 '버바릭 방법'을 사용해 실용적이고 통계적으로 안전한 실드를 효율적으로 구축할 수 있음을 보여주는 것.
• 사전 실드와 후처리 실드 전략의 성능과 안전성에 미치는 영향을 평가하기 위해 비교하는 것.
• 실제 산업 사례 연구를 통해 방법의 강건성과 확장성을 검증하는 것.

제안 방법

• 연속 하이브리드 시스템의 유한한 상태공간 분할을 구축하여 이산적 표현으로 추상화하는 것.
• 시스템 궤적의 체계적 표본 추출을 통해 HMDP의 진짜 전이 함수를 근사화하여 확장 가능한 추상화를 위한 '버바릭 방법'을 모방하는 것.
• 추상화된 시스템을 제어기(플레이어 1)와 환경(플레이어 2) 간의 이중 플레이어 안전 게임으로 모델링하며, 안전하지 않은 상태를 피하는 것이 목표이다.
• Uppaal Stratego를 사용해 이중 플레이어 안전 게임을 해결하고, 가장 허용 가능한 실드 전략을 합성하여 안전하지 않은 행동만 제한하는 것.
• 실드를 학습 이전에 통합하는 사전 실드 또는 배포 중에 통합하는 후처리 실드를 적용하며, 비용과 간섭 최소화를 통한 후처리 최적화를 수행하는 것.
• 실제 모델, 즉 DC-DC 부스트 컨버터와 오일 펌프에 실드를 적용하여 안전성과 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 기호 계산이 불가능한 하이브리드 마르코프 결정 과정에 대해 실용적이고 확장 가능한 실드 합성 방법을 개발할 수 있는가?
• RQ2 하이브리드 시스템의 강화 학습에서 사전 실드가 후처리 실드보다 더 나은 제어 성능과 낮은 간섭 빈도를 달성하는가?
• RQ3 정확한 도달 가능성 분석 없이도 체계적 표본 추출을 통해 시스템 전이를 근사하면 통계적으로 안전한 실드를 제공할 수 있는가?
• RQ4 보상 형태 조정과 실드 기반 안전 보장 방식은 안전 보장 수준과 성능 측면에서 어떻게 비교되는가?
• RQ5 후처리 실드는 간섭을 줄이기 위해 최적화할 수 있으며, 이는 사전 실드와 비교해 어떻게 다른가?

주요 결과

• 사전 실드는 항상 후처리 실드를 능가하며, 크루즈 컨트롤 모델에서 비용을 6912로 낮춰 최적화된 후처리 대비 39.2% 낮춘다.
• 후처리 실드의 실드 간섭 수를 간섭 최소화 최적화를 통해 15.3% 감소시킬 수 있으나, 이는 비용을 3.7% 증가시킨다.
• 비용 최소화를 위한 후처리 최적화는 비용을 5.3% 감소시키지만, 간섭 수를 29.1% 증가시켜 성능과 안전 보장 간의 상충 관계를 보여준다.
• 보상 페널티를 최대 1000까지 설정해도 안전 위반이 발생하므로, 보상 형태 조정만으로는 최악의 경우 안전성을 보장할 수 없음을 입증한다.
• 모든 사례 연구에서 강력한 통계적 안전성을 확보하였으며, 산업용 두 시스템에 대해서도 적용되었고, 신뢰할 수 있는 실드를 위해 비교적 적은 표본 수(n=4)만 필요로 한다.
• 기호 방법보다 실드 합성 과정이 훨씬 빠르며, 이는 복잡한 하이브리드 시스템에 대한 실용적 구현 가능성을 보여준다.