[논문 리뷰] Formal Policy Synthesis for Continuous-Space Systems via Reinforcement Learning

Milad Kazemi, Sadegh Soudjani|arXiv (Cornell University)|2020. 05. 04.

Formal Methods in Verification참고 문헌 38인용 수 8

한 줄 요약

이 논문은 연속 상태 확률 시스템에서 선형 시간 논리(LTL) 명세를 만족시키는 최적의 정책을 학습시키기 위한 강화학습(RL) 프레임워크를 제안한다. 이는 시스템 모델이 필요로 하지 않으며, LTL에서 LDBA로의 변환을 통해 경로에 의존하는 보상 함수를 구성하고, 유연한 레이블 함수를 사용한 순차적 학습 절차를 통해, 온건한 가정 하에 학습된 정책의 만족 확률이 진짜 최적 값으로 선형 수렴함을 보장한다. 이는 카트폴 및 보트 주행 문제에서 높은 신뢰도 구간을 통해 검증되었다.

ABSTRACT

This paper studies satisfaction of temporal properties on unknown stochastic processes that have continuous state spaces. We show how reinforcement learning (RL) can be applied for computing policies that are finite-memory and deterministic using only the paths of the stochastic process. We address properties expressed in linear temporal logic (LTL) and use their automaton representation to give a path-dependent reward function maximised via the RL algorithm. We develop the required assumptions and theories for the convergence of the learned policy to the optimal policy in the continuous state space. To improve the performance of the learning on the constructed sparse reward function, we propose a sequential learning procedure based on a sequence of labelling functions obtained from the positive normal form of the LTL specification. We use this procedure to guide the RL algorithm towards a policy that converges to an optimal policy under suitable assumptions on the process. We demonstrate the approach on a 4-dim cart-pole system and 6-dim boat driving problem.

연구 동기 및 목표

• 알려지지 않은 연속 상태 확률 시스템에서 LTL 명세를 만족하는 정책을 학습시키기 위한 데이터 기반, 모델 기반의 RL 접근법을 개발한다.
• LTL 온톨로지 기반의 공식적이고 경로에 의존하는 보상 함수를 구성함으로써 히우리스틱 보상 설계에 대한 의존도를 제거한다.
• 시스템 동역학에 대한 적절한 가정 하에 학습된 정책이 최적의 만족 확률로 수렴하도록 보장한다.
• 유연한 LTL 명세를 사용한 순차적 학습 절차를 통해 표본 효율성과 학습 안정성을 향상시킨다.
• 유한 상태 모델을 초월해 일반적인 연속 상태 MDP에 대해 이론적 정책 합성을 확장하며, 이는 이산화 또는 연속성 가정 없이 수행된다.

제안 방법

• 경로 수용 조건을 표현하기 위해 LTL 명세를 한계 결정성 부차우트로마톤(LDBA)으로 변환한다.
• LDBA 상태 전이에 기반한 경로에 의존하는 보상 함수를 구성하여, RL이 장기적인 시간적 성질 만족도를 극대화할 수 있도록 한다.
• LTL 공식의 양의 정규형에서 유도된 점진적으로 유연한 레이블 함수를 사용한 순차적 학습 절차를 통해 탐색을 이끌어낸다.
• 하한 추정치를 사용한 딥 RL 알고리즘(예: A2C)을 적용하며, 신뢰도 파rameter ζ를 사용해 반복적으로 구간을 정밀화한다.
• 시스템의 균일한 에르고딕성 가정 하에 진짜 최적의 만족 확률로 선형 수렴하는 최적 평균 보상 기준을 제시한다.
• Hoeffding의 부등식을 활용해 경험적 궤적 데이터 기반으로 진짜 만족 확률에 대한 고신뢰도 구간을 계산한다.

실험 결과

연구 질문

• RQ1 시스템 모델에 대한 사전 지식 없이도 강화학습을 사용해 연속 상태 확률 시스템에 대해 최적의 정책을 합성할 수 있는가?
• RQ2 LDBA 표현에서 유도된 경로에 의존하는 보상 함수가 LTL 명세의 진짜 최적 만족 확률로 수렴하는가?
• RQ3 유연한 LTL 명세를 사용한 순차적 학습 절차는 연속 상태 시스템에서 RL의 표본 효율성과 수렴성을 향상시킬 수 있는가?
• RQ4 RL 프레임워크에서 평균 보상 기준이 어떤 가정 하에 진짜 최적의 만족 확률로 선형 수렴하는가?
• RQ5 이산화 또는 연속성 가정 없이도 연속 상태 MDP에서 정책 성능에 대한 이론적 보장을 어떻게 확립할 수 있는가?

주요 결과

• 4차원 카트폴 시스템에서 RL 기반 정책 합성 방법은 만족 확률 하한을 0.9526로 확보하였으며, 진짜 확률은 신뢰도 1−4×10⁻¹⁰ 하에 [0.975, 1] 범위에 속한다.
• 6차원 보트 주행 문제에서는 만족 확률 하한을 0.9810으로 계산하였으며, 경험적 데이터에 의해 [0.99, 1] 범위에 속함을 확인하였고, 신뢰도는 5×10⁻⁵이다.
• 50,000개의 카트폴 궤적 중 오직 1.03%만 안전 제약(위치 또는 각도 범위)을 위반하였고, 대부분 150단계 이내에 목표 구간에 도달하였다.
• ζ 값 증가(0.9950에서 0.9999로)에 따른 순차적 학습 절차는 만족 확률 하한을 단조적으로 증가시켜 수렴을 나타내었다.
• 온건한 가정 하에 최적 정책으로 수렴하는 것으로 나타났으며, 보트 문제의 경우 계산 시간은 70분, 기준 A2C는 순차적 절차 없이 24시간 소요되었다.
• 이론적 분석 결과, 시스템의 균일한 에르고딕성 가정 하에 최적 평균 보상 기준이 진짜 최적의 만족 확률로 선형 수렴함을 보였다.