[논문 리뷰] ShieldNN: A Provably Safe NN Filter for Unsafe NN Controllers

James Ferlez, Mahmoud Elnaggar외 2명|arXiv (Cornell University)|2020. 06. 16.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 16

한 줄 요약

ShieldNN는 기립자전거 모델(KBM)로 모델링된 자율주행차량의 기억이 없는 모든 제어기로부터 안전하지 않은 제어 입력을 수정하는 증명 가능하게 안전한, ReLU 기반의 신경망 필터이다. 새로운 바리에이션 함수와 실시간 필터링을 활용하여 CARLA 시뮬레이션에서 장애물 충돌을 99.4–100% 감소시키고, 강화학습 훈련 중 샘플 효율성을 28% 향상시킨다.

ABSTRACT

In this paper, we develop a novel closed-form Control Barrier Function (CBF) and associated controller shield for the Kinematic Bicycle Model (KBM) with respect to obstacle avoidance. The proposed CBF and shield -- designed by an algorithm we call ShieldNN -- provide two crucial advantages over existing methodologies. First, ShieldNN considers steering and velocity constraints directly with the non-affine KBM dynamics; this is in contrast to more general methods, which typically consider only affine dynamics and do not guarantee invariance properties under control constraints. Second, ShieldNN provides a closed-form set of safe controls for each state unlike more general methods, which typically rely on optimization algorithms to generate a single instantaneous for each state. Together, these advantages make ShieldNN uniquely suited as an efficient Multi-Obstacle Safe Actions (i.e. multiple-barrier-function shielding) during training time of a Reinforcement Learning (RL) enabled Neural Network controller. We show via experiments that ShieldNN dramatically increases the completion rate of RL training episodes in the presence of multiple obstacles, thus establishing the value of ShieldNN in training RL-based controllers.

연구 동기 및 목표

• 자기 제어기와 무관한 안전 필터를 개발하여 자율주행차량의 기억이 없는 모든 신경망 제어기의 증명 가능 안전성을 보장한다.
• 특히 강화학습(DRL) 환경에서 데이터 기반 제어기의 증명 가능 안전 보장의 부족을 해결한다.
• 안전한 상태 방문을 방지하는 안전 필터를 통합함으로써 DRL 훈련 중 샘플 효율성을 향상시킨다.
• 동적 장애물이 있는 시뮬레이션 환경에서 필터의 안전성과 강건성을 검증한다.
• 기립자전거 모델(KBM) 역학에 맞는 새로운 유형의 바리에이션 함수를 설계한다.

제안 방법

• KBM를 위한 안전 제어 집합을 정의하기 위해 세 개의 실수형 매개변수(안전 반경 포함)를 갖는 새로운 유형의 바리에이션 함수를 사용한다.
• 이 방법은 두 가지 구성 요소로 이루어진다: 선택된 바리에이션 함수를 타당하게 검증하는 검증기와 안전 필터 신경망을 설계하는 합성기이다.
• 안전 필터는 제어기의 원시 제어 입력과 시스템 상태를 입력으로 받아 안전한 제어 동작을 출력하는 ReLU 기반의 신경망이다.
• 안전하지 않은 제어 동작은 걸러지고 안전한 대체 동작으로 대체되며, 안전한 동작는 그대로 통과된다.
• 폐쇄형 시스템이 바리에이션 함수에 의해 정의된 안전 집합 내에 머무르도록 필터를 훈련시킨다.
• PPO 에이전트가 카메라 및 라이다 기반 상태 입력을 사용하는 CARLA 시뮬레이션 환경에 프레임워크가 통합된다.

실험 결과

연구 질문

• RQ1 기립자전거 모델에서 임의의 제어기에 대해 증명 가능하게 안전을 보장하는 신경망 필터를 설계할 수 있는가?
• RQ2 ShieldNN은 자율주행차량 제어 시나리오에서 장애물 충돌을 얼마나 효과적으로 줄이는가?
• RQ3 DRL 훈련 중 ShieldNN을 통합하면 안전 필터링 없이 훈련하는 것에 비해 샘플 효율성이 향상되는가?
• RQ4 분포 이탈이 발생하는 새로운 환경에 배치했을 때 ShieldNN의 강건성은 어떠한가?
• RQ5 학습 기반 제어 환경에서 증명 가능 안전 보장을 가능하게 하는 KBM용 새로운 바리에이션 함수를 구성할 수 있는가?

주요 결과

• DRL로 훈련된 제어기와 함께 CARLA 시뮬레이션에서 ShieldNN은 장애물 충돌 수를 99.4%에서 100% 감소시켰다.
• ShieldNN을 훈련 중에 사용하지 않은 경우, 동일한 에피소드 수 동안 누적 보상이 28% 적게 확보되어, 필터가 샘플 효율성을 향상시켰음을 시사한다.
• 새로운 도시 도로 환경에서의 전이 학습 시나리오에서, ShieldNN 기반 에이전트는 200개의 테스트 에피소드 전부에서 장애물을 성공적으로 피하는 것으로 나타나 강건한 일반화 능력을 입증했다.
• ShieldNN를 사용한 에이전트는 장애물 회피 행동에서 더 보수적인 경향을 보여, 안전 마진이 향상되었음을 시사한다.
• 검증기가 KBM에 대한 바리에이션 함수를 정확히 검증하여, 필터 설계의 타당한 안전 보장을 가능하게 했다.
• ShieldNN을 안전 필터로 통합함으로써 제어기의 안전 경로에서의 성능은 손상되지 않았으며, 원래의 동작 방식이 유지되었다.