[논문 리뷰] Robust Satisfaction of Temporal Logic Specifications via Reinforcement Learning

Austin Jones, Derya Aksaray외 3명|arXiv (Cornell University)|2015. 10. 22.

Formal Methods in Verification참고 문헌 15인용 수 14

한 줄 요약

이 논문은 신호 시간 논리(STL) 복원도를 연속 보상 신호로 사용하는 Q-학습 기반 강화 학습 프레임워크를 제안한다. 이는 동역학이 알려져 있지 않은 확률적 시스템을 복잡한 시간적 작업으로 이끌기 위한 것이다. 만족 확률이 아닌 기대 복원도를 최대화함으로써, 특히 훈련 데이터가 제한된 경우에도 우수한 수렴성과 성능을 달성하며, 복원도 및 확률 최대화에 대해 최적 정책으로의 증명 가능 수렴을 보여준다.

ABSTRACT

We consider the problem of steering a system with unknown, stochastic dynamics to satisfy a rich, temporally layered task given as a signal temporal logic formula. We represent the system as a Markov decision process in which the states are built from a partition of the state space and the transition probabilities are unknown. We present provably convergent reinforcement learning algorithms to maximize the probability of satisfying a given formula and to maximize the average expected robustness, i.e., a measure of how strongly the formula is satisfied. We demonstrate via a pair of robot navigation simulation case studies that reinforcement learning with robustness maximization performs better than probability maximization in terms of both probability of satisfaction and expected robustness.

연구 동기 및 목표

• 신호 시간 논리(STL)로 기술된 시간에 민감한 복잡한 작업을 이행하기 위해 동역학이 알려져 있지 않고 확률적인 시스템을 제어하는 데 도전 과제를 해결하기 위해.
• STL 공식 만족의 기대 복원도를 최대화하는 강화 학습 알고리즘을 개발하여 수렴성이 보장되도록 하기 위해.
• 특히 훈련 에피소드 수가 제한된 경우, 복원도 최대화가 만족 확률 및 복원도 측면에서 전통적인 확률 최대화보다 뛰어난 성능을 보임을 입증하기 위해.
• 유한한 역사 의존성 STL 사양을 표현하기 위해 τ단계 상태 이력을 사용하는 유 end-to-end 유한 수평 마코프 결정 과정(τ-MDP)을 구성하여 효과적인 학습을 가능하게 하기 위해.

제안 방법

• 시스템은 상태가 시스템 상태의 최근 τ개 관측값을 나타내는 τ-MDP로 모델링되며, 이는 STL 사양의 역사 의존성을 캡처한다.
• 보상 함수는 STL 복원도 수준에서 유도된 Q-학습 알고리즘이 Q-값을 관측된 보상에 기반해 반복적으로 업데이트함으로써 정책을 학습한다.
• 각 경로 세그먼트에 대해 복원도 수준이 계산되며, 이는 경로가 STL 공식을 얼마나 잘 만족하는지에 대한 연속적이고 미분 가능한 측도이다.
• 두 가지 학습 목표가 정의된다: STL 공식 만족의 확률을 최대화하고, 기대 복원도를 최대화하며, 둘 다 증명 가능한 수렴 보장을 갖는다.
• τ-MDP 구조는 U[ a,b )와 같은 시간 제한된 STL 연산자를 유한한 역사 정보로 인코딩함으로써 자동차 기반 번역이 필요 없도록 하여 처리한다.
• 영역 기반 시간 제약이 있는 로봇 주행 시뮬레이션 사례 연구 두 가지를 통해 접근법을 검증하였다.

실험 결과

연구 질문

• RQ1 시스템의 동역학이 알려져 있지 않고 확률적인 경우, 복원도 최대화를 통한 강화 학습이 확률 최대화보다 STL 사양을 만족시키는 데 뛰어나게 작용할 수 있는가?
• RQ2 기대 복원도를 최대화하는 것이 만족 확률을 단독으로 최대화하는 것과 비교해 주어진 STL 공식의 만족 확률에 어떤 영향을 미치는가?
• RQ3 부분적 훈련(제한된 에피소드)이 복원도 최대화 정책과 확률 최대화 정책의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 복원도 최대화가 확률 최대화를 포함하는 경우와 정책 품질에서 갈리는 경우는 언제인가?
• RQ5 유한한 역사 정보를 사용하는 τ-MDP는 시간 제한된 STL 연산자의 의미를 어떻게 캡처하여 효과적인 학습을 가능하게 하는가?

주요 결과

• 사례 연구 1에서, 확률 최대화와 복원도 최대화 모두 100%의 만족 확률을 달성했지만, 복원도 최대화는 평균 복원도가 훨씬 높았다(0.2617 대비 0.2287).
• 사례 연구 2에서, 확률 최대화는 만족 정책을 학습하지 못했으며(만족 확률 0%), 복원도 최대화는 100%의 만족 확률을 달성했고 평균 복원도는 0.1052였다.
• 복원도 최대화 정책은 특히 만족 정책의 집합이 작고 발견하기 어려운 경우, 더 빠르고 안정적으로 수렴했다.
• 확률 최대화 알고리즘은 거의 무작위 탐색을 수행했으며, 거의 만족하는 경로에 대한 부분적 보상이 없었기 때문이다. 반면 복원도 최대화는 방향성 있는 탐색을 가능하게 했다.
• τ-MDP 구조는 역사 의존성 STL 의미를 성공적으로 인코딩하여 자동차 기반 번역 없이도 효과적인 학습을 가능하게 했다.
• 복원도 최대화는 최적 정책이 복원도 기준으로도 확률 1로 사양을 만족시키는 경우에만 확률 최대화를 포함함을 입증했지만, 그렇지 않은 경우는 그렇지 않다.