[논문 리뷰] Certified Reinforcement Learning with Logic Guidance

Mohammadhosein Hasanbeig, Daniel Kroening외 1명|arXiv (Cornell University)|2019. 02. 02.

Formal Methods in Verification인용 수 15

한 줄 요약

이 논문은 연속 상태 마르코프 결정 과정(MDP)에서 목표를 형식적으로 명세하고 최대 확률로 그 이행을 보장하는 모델-프리 강화학습 알고리즘을 제안한다. 선형 시간 논리(LTL)를 사용하여 목표를 명세하고, 이를 한정 결정적 일반화 부치 오ート마타(LDGBA)로 변환한 후, 실시간으로 보상 함수를 형상화함으로써 커널 기반 함수 근사와 몬테카를로 샘플링을 사용하는 값 반복 알고리즘을 통해 증명 가능하게 올바른 정책 합성을 보장한다.

ABSTRACT

Reinforcement Learning (RL) is a widely employed machine learning architecture that has been applied to a variety of control problems. However, applications in safety-critical domains require a systematic and formal approach to specifying requirements as tasks or goals. We propose a model-free RL algorithm that enables the use of Linear Temporal Logic (LTL) to formulate a goal for unknown continuous-state/action Markov Decision Processes (MDPs). The given LTL property is translated into a Limit-Deterministic Generalised Buchi Automaton (LDGBA), which is then used to shape a synchronous reward function on-the-fly. Under certain assumptions, the algorithm is guaranteed to synthesise a control policy whose traces satisfy the LTL specification with maximal probability.

연구 동기 및 목표

• 수작업 보상이 취약하고 투명하지 않은 복잡한 안전 중심 강화학습(RL) 작업에서 보상 설계의 과제를 해결한다.
• 선형 시간 논리(LTL)를 사용하여 복잡한 시간적 및 순차적 요구 조건을 표현할 수 있는 고수준 제어 목표를 형식적으로 명세할 수 있도록 한다.
• 제시된 LTL 명세를 최대 확률로 만족하는 합성 정책을 보장한다.
• 함수 근사와 몬테카를로 샘플링을 통합하여 확장성 확보를 위한 모델-프리 RL 프레임워크를 개발한다.
• 명시적인 MDP 모델링이나 광범위한 보상 튜닝이 필요 없는 증명 가능하게 올바른 정책 합성 방법을 제공한다.

제안 방법

• 주어진 LTL 공식을 한정 결정적 일반화 부치 오르타마타(LDGBA)로 변환하여 원하는 시간적 행동을 표현한다.
• 원래 MDP와 LDGBA를 동기화하여 제품 MDP를 구성하고, 복합 상태 공간 $(s, q_j)$를 형성한다. 여기서 $s$는 시스템 상태이고 $q_j$는 오르타마타 상태이다.
• LDGBA의 수락 상태에 $r_p$를 할당하고, 그 외에는 $r_n$을 할당하여 보상 함수를 정의함으로써 LTL 명세를 보상 구조로 효과적으로 코딩한다.
• 반경 기반 함수를 사용한 커널 평균기법을 적용하여 연속 상태 공간에서 값 함수 $Lv^{q_j}(s)$를 샘플된 중심점들의 가중 평균으로 근사한다. 이는 연속 상태 공간에서의 함수 근사를 가능하게 한다.
• 수락 상태에서 시작하여 오르타마타 상태를 거꾸로 갱신하는 수정된 값 반복 알고리즘(FVI)을 적용하여 제품 MDP를 통해 값 추정치를 전파한다.
• 각 상태-행동 쌍에 대해 $Z$개의 경로에 대한 몬테카를로 샘플링을 사용하여 벨먼 갱신을 근사한다. 이는 분석적 전이 확률이 없는 상황에서 적분을 표본 평균으로 대체한다.

실험 결과

연구 질문

• RQ1 모델-프리 RL에서 연속 상태 MDP에 대해 수작업 보상 설계 없이 LTL 명세를 자동으로 보상 함수로 생성할 수 있는가?
• RQ2 알 수 없는 연속 상태 MDP에서 학습된 정책이 주어진 LTL 명세를 최대 확률로 만족시킬 수 있는가?
• RQ3 LDGBA와 오르타마타 기반 보상 형상화와 같은 형식적 방법을 함수 근사 및 샘플링 기법과 통합하여 연속 영역으로 확장할 수 있는가?
• RQ4 오르타마타 상태를 거꾸로 갱신하는 값 반복이 제품 MDP에서 정책의 수렴성과 정확성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 LCNFQ와 같은 기존 방법보다 안전 중심 제어 작업에서 정확성 보장과 확장성 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 방법은 MDP가 알려져 있지 않지만 전이 동역학을 샘플링할 수 있다는 가정 하에 합성 정책이 주어진 LTL 명세를 최대 확률로 만족시킴을 보장한다.
• LDGBA의 사용은 안전성, 생존성, 재발성과 같은 복잡한 시간적 성질를 정확하게 코딩할 수 있게 하며, 이는 스칼라 보상으로 표현하기 어려운 성질들이다.
• 반경 기반 함수를 사용한 커널 기반 함수 근사는 연속 상태 공간에서 효과적인 값 함수 추정을 가능하게 하여 유한 상태 MDP를 초월한 확장성을 실현한다.
• $Z$개의 경로에 대한 몬테카를로 샘플링은 분석적 전이 확률이 없는 상황에서 벨먼 갱신의 실용적이고 정확한 근사를 제공한다.
• 오르타마타 상태를 거꾸로 갱신하는 값 반복은 수락 상태에서부터 초기 상태로의 값 추정치가 정확히 전파되도록 하여 LTL 성질의 논리적 구조를 유지한다.
• LCNFQ와 같은 이전 방법보다 정확성 보장 측면에서 뛰어나며, [18]과 같은 MDP 추상화 기법의 확장성 문제를 피한다.