[논문 리뷰] It's Time to Play Safe: Shield Synthesis for Timed Systems

Akshay, S., Genest, Blaise외 3명|arXiv (Cornell University)|2020. 06. 30.

Formal Methods in Verification참고 문헌 26인용 수 5

한 줄 요약

이 논문은 실시간 시스템에서 최소한의 간섭으로 안전성을 보장하기 위해 시간 제약이 있는 포스트 쉴드와 프리 쉴드를 제안한다. 시간 자동화기 사양에서 이들을 합성하며, 포스트 쉴드에 복구 보장을 도입하여 강화학습을 통한 자동차 편대 주행에서의 효과성을 입증한다. 이로 인해 충돌 수가 크게 감소하면서도 안전한 학습이 가능해진다.

ABSTRACT

Erroneous behaviour in safety critical real-time systems may inflict serious consequences. In this paper, we show how to synthesize timed shields from timed safety properties given as timed automata. A timed shield enforces the safety of a running system while interfering with the system as little as possible. We present timed post-shields and timed pre-shields. A timed pre-shield is placed before the system and provides a set of safe outputs. This set restricts the choices of the system. A timed post-shield is implemented after the system. It monitors the system and corrects the system's output only if necessary. We further extend the timed post-shield construction to provide a guarantee on the recovery phase, i.e., the time between a specification violation and the point at which full control can be handed back to the system. In our experimental results, we use timed post-shields to ensure the safety in a reinforcement learning setting for controlling a platoon of cars, during the learning and execution phase, and study the effect.

연구 동기 및 목표

• 복잡성으로 인해 형식적 검증이 불가능한 안전이 중요한 실시간 시스템에서 안전성을 보장하는 데 도전 과제를 해결하기 위해.
• 시스템 동작을 방해하지 않으면서 시간 제약이 있는 안전 성질을 강제하는 자동 합성 방법을 개발하기 위해.
• 개입 후 시스템 제어가 시간 내에 복원될 수 있도록 보장하는 복구 시간을 보장하는 포스트 쉴드를 확장하기 위해.
• 자율 주행 차량 편대 주행을 위한 강화학습 환경에서 접근법을 평가하기 위해.
• 학습 및 실행 중 모두 쉴드를 적용함으로써 학습 효율성에 영향을 주지 않으면서도 안전성을 향상시키는지 확인하기 위해.

제안 방법

• Uppaal Tiga와 Uppaal Stratego를 사용하여 시간 자동화기 사양에서 안전 전략을 합성함으로써 시간 제약이 있는 쉴드를 생성한다.
• 두 가지 유형의 쉴드를 구현한다: 시스템 출력을 안전한 선택지로 제한하는 프리 쉴드와, 불안전한 출력을 모니터링하고 수정하는 포스트 쉴드.
• 장애 상황을 모델링하여 포스트 쉴드에 복구 보장을 도입함으로써 개입이 유한한 시간 내에 종료되도록 보장한다.
• 실시간으로 학습 에이전트가 생성한 불안전한 동작을 수정하기 위해 시간 제약이 있는 포스트 쉴드를 강화학습 파이프라인에 적용한다.
• 동적 조건에서 쉴드 성능을 평가하기 위해 속도 및 거리 제약 조건을 포함한 자동차 편대 주행 모델을 사용한다.
• 안전하지 않은 거리(≤5m 또는 ≥200m)에 대해 벌점을 주는 보상 함수를 사용하여 RL 학습을 이끌고 안전성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 시간 자동화기에서 시간 제약이 있는 쉴드를 자동으로 합성하여 실시간 시스템에서 안전성을 보장할 수 있는가?
• RQ2 개입 후 제한된 시간 내에 복구가 보장되도록 포스트 쉴드를 어떻게 확장할 수 있는가?
• RQ3 강화학습 환경에서 학습 및 실행 중 모두 포스트 쉴드를 적용할 경우 어떤 영향을 미치는가?
• RQ4 학습 단계에서 쉴드를 적용해도 실시간 제어 작업의 학습 성능이 저하되지 않게 안전성을 향상시킬 수 있는가?
• RQ5 간섭 정도와 안전성 확보 측면에서 프리 쉴드와 포스트 쉴드는 어떻게 비교되는가?

주요 결과

• 비쉴드 설정에서는 10 辆 차량에 대해 10,000회의 시뮬레이션 동안 총 983건의 충돌이 발생하여 실행 시 높은 위험이 있음을 나타낸다.
• 실행 중에만 포스트 쉴드를 적용한 경우 충돌은 0건으로 감소하였고, 평균 충돌 전 시뮬레이션 시간은 544 시간 단위로 증가하였다.
• 학습 및 실행 모두에서 쉴드를 적용한 경우 평균 보상은 342였으며, 비쉴드 케이스의 608에 비해 감소하여 안전성과 보상 사이의 상충 관계를 시사한다.
• 쉴드가 적용된 학습 단계는 항상 2,000 시간 단위가 지속되었으며, 안전성이 보장되었기 때문에 비쉴드 케이스와 달리 충돌로 인해 조기 종료되지 않았다.
• 비쉴드 학습과 실행 중에만 포스트 쉴드를 적용한 조합이 두 단계 모두에서 쉴드를 적용한 경우보다 더 높은 평균 보상을 기록하여 제약 없이 학습하는 데 잠재적인 이점이 있음을 시사한다.
• 결과는 시간 제약이 있는 포스트 쉴드가 동적이고 불확실한 리더 행동 조건에서도 자동차 편대 주행에서 충돌을 효과적으로 방지함을 확인한다.