[논문 리뷰] Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions

Xiao Li, Călin Belta|arXiv (Cornell University)|2019. 03. 23.

Reinforcement Learning in Robotics참고 문헌 27인용 수 30

한 줄 요약

이 논문은 연속 제어 작업에서 안전하고 사양 지향적 학습을 가능하게 하기 위해 시간 논리, 제어 리아푸노프 함수(CLFs), 제어 장벽 함수(CBFs)를 통합한 강화 학습 프레임워크를 제안한다. 시간 논리 공식에서 유도된 유 end-상태 오토마타를 사용하여 탄력성 기반 보상, 탐색 유도, 안전 제약 강제를 수행함으로써, 시스템은 알려지지 않은 환경 동역학 조건 하에서도 안전한 상태를 철저히 피하면서 작업 완수를 보장한다.

ABSTRACT

Using reinforcement learning to learn control policies is a challenge when the task is complex with potentially long horizons. Ensuring adequate but safe exploration is also crucial for controlling physical systems. In this paper, we use temporal logic to facilitate specification and learning of complex tasks. We combine temporal logic with control Lyapunov functions to improve exploration. We incorporate control barrier functions to safeguard the exploration and deployment process. We develop a flexible and learnable system that allows users to specify task objectives and constraints in different forms and at various levels. The framework is also able to take advantage of known system dynamics and handle unknown environmental dynamics by integrating model-free learning with model-based planning.

연구 동기 및 목표

• 수동으로 조정된 보상 함수 대신 직관적이고 고수준의 시간 논리 사양을 사용하여 강화 학습에서 복잡한 작업을 사양 지정하는 데 도전한다.
• 학습 및 실행 중에 하드 안전 제약 조건을 강제하여 물리 시스템에서의 안전한 탐색과 구현을 보장한다.
• 제어 리아푸노프 함수를 통합하여 태스크 관련 영역 쪽으로 탐색을 유도함으로써 샘플 효율성과 정책 성능을 향상시킨다.
• 모델 기반의 안전 강제를 통해 제어 장벽 함수를 활용하고 모델리스 강화 학습과 융합함으로써 알려지지 않은 환경 동역학에 대한 강건성을 확보한다.
• 다양한 추상 수준에서 작업과 제약 조건을 다루는 유연한 사양을 지원하는 통합적이고 학습 가능한 프레임워크를 개발한다.

제안 방법

• 사용자 지정 논리 사양에서 자동으로 파생되는 의미 인식 보상 함수로 신호 시간 논리(STL) 공식의 탄력성 정도를 활용한다.
• STL 공식에서 유한 상태 오토마타(FSA)를 구성하여 작업 목표와 안전 제약 조건을 인코딩하고, 보상 생성, 목표 선택, 안전 영역 정의 등 다목적 용도로 활용한다.
• 중간 목표 정의와 태스크 관련 상태로의 수렴 유도를 통해 탐색을 유도하기 위해 제어 리아푸노프 함수(CLFs)를 통합한다.
• 시스템 상태가 항상 사전 정의된 안전 영역 내에 머물도록 보장함으로써 하드 안전 제약 조건을 강제하기 위해 제어 장벽 함수(CBFs)를 활용한다.
• RL, CLF, CBF 구성 요소의 동작을 조합하는 정수 프로그래밍 문제로 전체 제어 정책을 공식화하여 실시간 타당성과 안전성을 확보한다.
• 하드 제약 조건과 사양 위반을 다룰 수 있도록 FSA 보강 MDP 프레임워크를 확장함으로써 학습 중 시간 논리 사양의 엄격한 강제를 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간 논리 사양을 어떻게 자동으로 의미 인식 보상 함수로 변환할 수 있는가?
• RQ2 제어 리아푸노프 함수는 안전성을 해치지 않으면서 복잡하고 장기적인 태스크에서 탐색 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 제어 장벽 함수는 알려지지 않은 환경 동역학 조건이 존재하는 연속 제어 작업에서 하드 안전 제약 조건을 효과적으로 강제할 수 있는가?
• RQ4 RL, CLF, CBF 구성 요소의 통합이 학습 및 평가 중 최종 정책의 성공률과 안전성에 어떤 영향을 미치는가?
• RQ5 초기 설정값 튜닝이 시뮬레이션 환경에서 제안된 프레임워크의 성능과 수렴에 미치는 영향은 어떠한가?

주요 결과

• RL과 CBF를 함께 사용해 훈련한 에이전트는 안전 영역을 지속적으로 피함으로써 평가 시도 20회 이상에서 더 높은 성공률를 기록했다.
• CBF 없이 훈련된 에이전트들은 보통 장애물을 피하기 위해 안전 영역을 벗어나려 시도했고, CBF가 강제 적용되는 평가 중 실패를 겪었으며, 이는 운영 중 안전 강제의 중요성을 시사한다.
• CLF의 포함으로 인해 초기 탐색 단계에서 에이전트가 관련 목표 쪽으로 유도되었고, CBF는 안전 영역 경계에서의 위험 행동을 방지했다.
• RL, CLF, CBF를 모두 사용해 훈련한 에이전트는 안전 경계에서 정체 상태에 빠질 가능성이 있는 경로를 탐지했을 때, 직접 경로 대신 g₁를 통해 도달 가능한 g₂로의 대체 경로를 선택하는 것을 학습했다.
• RL+CBF 구성에서 이격 거리가 점차 증가함에 따라 장애물 회피 능력이 향상됨을 확인했으며, 이는 학습 과정에 따라 개선됨을 나타낸다.
• 시스템은 알려지지 않은 환경 동역학 조건 하에서도 강건한 성능을 보였고, 환경에 대한 정확한 모델이 없음에도 불구하고 안전하고 태스크 준수 정책을 성공적으로 학습했다.