[논문 리뷰] Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning

Zikang Xiong, Suresh Jagannathan|arXiv (Cornell University)|2021. 04. 20.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 7

한 줄 요약

이 논문은 신경망 학습에서 안전성 검증을 분리하여 깊이 강화학습 컨트롤러를 위한 확장 가능한 검증 파이pline을 제안한다. 확률적 도달 가능성 분석을 통해 검증된 선형 컨트롤러 가족(VLCF)을 합성하며, 이는 훈련 및 구현 중에 시간 기반 실드 역할을 하여 확률적 선형 시간 불변 및 시간 변동 시스템에서 최대 800차원까지 안전하고 고차원 제어를 가능하게 한다. 이는 이전 방법에 비해 뛰어난 확장성을 보여준다.

ABSTRACT

There has been significant recent interest in devising verification techniques for learning-enabled controllers (LECs) that manage safety-critical systems. Given the opacity and lack of interpretability of the neural policies that govern the behavior of such controllers, many existing approaches enforce safety properties through shield, a dynamic monitoring-and-repairing mechanism that ensures a LEC does not emit actions that would violate desired safety conditions. These methods, however, have been shown to have significant scalability limitations because verification costs grow as problem dimensionality and objective complexity increase. In this paper, we propose a new automated verification pipeline capable of synthesizing high-quality safe controllers even when the problem domain involves hundreds of dimensions, or when the desired objective involves stochastic perturbations, liveness considerations, and other complex non-functional properties. Our key insight involves separating safety verification from neural controller training, and using pre-computed verified safety shields to constrain the training process. Experimental results over a range of high-dimensional benchmarks demonstrate the effectiveness of our approach in a range of stochastic linear time-invariant and time-variant systems.

연구 동기 및 목표

• 고차원, 확률적, 시간에 따라 변하는 시스템에서 학습 기반 컨트롤러(LECs)에 대한 기존 검증 기법의 확장성 한계를 해결하기 위해.
• 성능 기반 신경망 학습에서 안전성 검증을 분리하여, 안전성 성질의 독립적이고 확장 가능한 검증을 가능하게 하기 위해.
• 공간 상태가 아닌 시간 단위로 작동하는 검증된 선형 컨트롤러 가족(VLCF) 기반의 동적 실드 메커니즘을 개발하기 위해.
• 검증된 실드를 훈련 과정에 통합하여, 성능에 영향을 주지 않으면서도 안전성을 고려한 정책 학습을 보장하기 위해.
• 복잡한 고차원 사이버-물리 시스템(CPS)에서 딥 RL 컨트롤러에 대해 증명 가능한 안전성 보장을 달성하기 위해.

제안 방법

• 확률적 도달 가능성 분석을 통해 안전성을 보장하는 선형 컨트롤러 가족을 구성한다.
• 시간 기반 선택기(시간 간격 k 단위)를 통해 매 k단계마다 검증된 선형 컨트롤러를 선택하여, 공간적 조합이 아닌 시간적 조합을 가능하게 한다.
• 검증된 선형 컨트롤러 가족(VLCF)은 훈련 및 구현 중에 동적 실드 역할을 하며, 신경망 정책이 안전하지 않은 동작을 내릴 경우 간섭한다.
• 신경망 컨트롤러는 실드 감시 하에 수집된 안전 전이 버퍼(s_t, a_t, s_{t+1}, r_t)를 사용해 훈련되며, 학습 중 안전성을 보장한다.
• 안전성 검증은 신경망의 목적함수와 독립적으로 수행되어, 성능 복잡도 및 차원 수에 관계없이 확장 가능한 검증이 가능하다.
• 이 방법은 확률적 외란이 존재하는 이산 시간 선형 시간 변동 시스템을 활용하여, 거의 확실한 도달 가능성 성질의 형식적 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원, 확률적, 시간에 따라 변하는 시스템에 대해 검증된 선형 컨트롤러 가족을 효율적으로 합성할 수 있는가?
• RQ2 시간 간격 k 단위로 검증된 컨트롤러를 조합하는 방식이 공간적 조합에 비해 확장성과 안전성 커버리지 측면에서 뛰어난가?
• RQ3 신경망 학습에서 안전성 검증을 분리해도 정확성이나 성능을 손상시키지 않고 가능한가?
• RQ4 훈련 루프에 검증된 실드를 통합하면, 후기 단계 실드 적용에 비해 최종 컨트롤러의 품질과 안전성이 어떻게 향상되는가?
• RQ5 이 파이프라인은 800개 이상의 상태 차원을 가진 시스템까지 얼마나 잘 확장되는가? 이는 이전 검증 기법의 한계를 초월한다.

주요 결과

• 제안된 파이프라인은 800개 이상의 상태 차원을 가진 시스템에서도 컨트롤러를 성공적으로 검증하여, 이전 연구의 스케일을 크게 초월했다.
• 모든 벤치마크에서 컨트롤러 가족의 완전한 검증을 1시간 이내에 달성했으며, 이는 고차원 케이스에서 이전 방법이 동일한 시간 제한 내에 타당한 해답을 반환하지 못한 것과 대비된다.
• 시간 기반 컨트롤러 선택 전략은 공간적 조합이 필수적인 벤치마크에서도 효과적인 실드 기능을 제공하여, 다양한 시스템 유형에 걸쳐 뛰어난 강건성을 입증했다.
• VLCF를 훈련 과정에 통합함으로써, 안전성과 성능 양면에서 비검증 대비 우수한 성능을 보이는 고품질의 안전 정책을 도출했다.
• 안전성 검증을 학습 목표에서 분리함으로써, 성능 목표나 신경망 아키텍처의 복잡도에 영향을 받지 않는 확장 가능한 검증이 가능했다.
• 특히 고차원 및 확률적 환경에서 이전 실드 기반 방법에 비해 뛰어난 확장성을 보였으며, 펜듈럼, 카트폴, 헬리콥터 등의 벤치마크에서 합성 시간 비교를 통해 이를 입증했다.