[논문 리뷰] Tractable Reinforcement Learning of Signal Temporal Logic Objectives

Harish K. Venkataraman, Derya Aksaray외 1명|arXiv (Cornell University)|2020. 01. 26.

Formal Methods in Verification참고 문헌 14인용 수 13

한 줄 요약

이 논문은 신호 시간 논리(STL) 목표를 위한 처리 가능한 강화학습 접근법을 제안한다. 이를 위해 하위 공식 만족도를 나타내는 플래그를 사용해 상태 역사 정보를 압축적으로 인코딩하는 F-MDP(플래그 기반 마코프 결정 과정)를 도입하였다. 이 방법은 다항수준의 상태공간 증가를 보이며, 기존의 τ-MDP보다 계산 복잡도를 크게 감소시켜 STL 사양의 만족 확률을 거의 최적에 가깝게 달성할 수 있도록 한다.

ABSTRACT

Signal temporal logic (STL) is an expressive language to specify time-bound real-world robotic tasks and safety specifications. Recently, there has been an interest in learning optimal policies to satisfy STL specifications via reinforcement learning (RL). Learning to satisfy STL specifications often needs a sufficient length of state history to compute reward and the next action. The need for history results in exponential state-space growth for the learning problem. Thus the learning problem becomes computationally intractable for most real-world applications. In this paper, we propose a compact means to capture state history in a new augmented state-space representation. An approximation to the objective (maximizing probability of satisfaction) is proposed and solved for in the new augmented state-space. We show the performance bound of the approximate solution and compare it with the solution of an existing technique via simulations.

연구 동기 및 목표

• τ-MDP에서 상태공간이 지수적으로 증가함에 따라 발생하는 STL 만족 정책 학습의 계산 비가역성 문제를 해결한다.
• 유한 창점 τ 내에서 전체 상태 역사 정보를 저장해야 하는 τ-MDP의 한계를 극복한다.
• 전체 상태 시퀀스를 저장하지 않고도 STL 만족에 필요한 역사 정보를 포괄하는 압축형, 확장 가능한 표현 방식을 개발한다.
• 새로운 확장된 상태공간에서 모델-프리 강화학습(예: Q-학습)을 효율적으로 수행하여 STL 사양 만족 확률을 최대화한다.
• 이론적 성능 한계를 제시하고, 장수평 STL 사양에서의 확장성과 학습 속도 향상을 실험적으로 검증한다.

제안 방법

• 각 STL 사양의 하위 공식에 대해 부분 만족도를 추적하는 플래그 상태를 포함한 새로운 MDP 체계인 F-MDP를 도입한다.
• STL 사양 내 각 하위 공식에 대해 플래그 상태를 정의하며, 각 플래그는 해당 하위 공식이 시간 윈도우 내에서 만족되었는지를 추적한다.
• 완전한 상태 역사 저장 없이도 역사 정보를 압축적으로 유지하기 위해 재귀적 플래그 갱신 메커니즘을 사용한다.
• F-MDP에서 STL 만족 확률을 최대화하는 것을 학습 목표로 삼으며, 오차가 제한된 근사치로 진짜 목표를 추정한다.
• STL 강화도와 플래그 전이를 기반으로 한 보상 함수를 적용하여 샘플 효율적인 정책 학습을 가능하게 하는 Q-학습을 F-MDP에 적용한다.
• F-MDP의 상태공간 복잡도가 수평 τ에 대해 다항식 O(|Σ| × (h+1)^k)임을 증명한다. 여기서 h는 하위 공식의 최대 수평, k는 하위 공식의 수이다.

실험 결과

연구 질문

• RQ1 STL 목표를 위한 강화학습에서 지수적 상태공간 증가를 방지할 수 있는 압축된 상태 표현 방식을 설계할 수 있는가?
• RQ2 F-MDP 기반 정책의 성능은 τ-MDP 기준선 대비 만족 확률과 학습 효율성 측면에서 어떻게 비교되는가?
• RQ3 제안된 근사치의 이론적 성능 한계는 진짜 STL 만족 확률 목표에 대해 어떻게 설정되는가?
• RQ4 F-MDP 체계는 τ-MDP가 처리할 수 없는 장수평 STL 수평과 복잡한 사양으로까지 확장 가능한가?
• RQ5 플래그 기반 표현 방식은 STL 작업에 대한 Q-학습에서 더 빠른 수렴과 메모리 사용 감소를 가능하게 하는가?

주요 결과

• F-MDP 체계는 τ-MDP의 지수적 상태공간 복잡도(m^τ)를 τ 수평과 하위 공식 수 k에 대해 다항식(|Σ| × (h+1)^k)으로 감소시켰다.
• τ = 3일 때, F-MDP는 훈련 시간 6분, 메모리 사용량 2.9×10³ 단위를 소비했고, τ-MDP는 21분과 1.7×10⁴ 단위를 사용하여, 각각 3.5배 빠른 수렴과 6배 메모리 절감을 기록했다.
• τ = 5일 때, F-MDP는 18분과 18×10³ 메모리 사용량을 기록했고, τ-MDP는 290분과 1×10⁶ 단위를 사용하여, 16배 빠른 수렴과 55배 메모리 절감을 달성했다.
• h=5(τ=6)인 순찰 작업에서 τ-MDP는 메모리 오버플로우(배열 크기 초과)로 실패했고, F-MDP는 24분과 24×10³ 단위로 성공적으로 완료했다.
• F-MDP를 통해 학습된 정책은 h=5일 때 Pr[s₀:17 |= Φ₂] = 0.8432의 만족 확률을 달성하여 장수평 사양에서 높은 만족도를 보였다.
• 도달 가능성 작업에서 F-MDP 정책은 99.6%의 만족률(500개 중 498개의 경로)을 기록하여 높은 신뢰성과 거의 최적의 성능을 입증했다.