[논문 리뷰] Omega-Regular Objectives in Model-Free Reinforcement Learning

Ernst Moritz Hahn, Mateo Perez외 4명|arXiv (Cornell University)|2018. 09. 26.

Formal Methods in Verification인용 수 6

한 줄 요약

이 논문은 마르코프 결정 과정(MDP)에서 오메가-정규 목표의 거의 확실 만족을 위한 최초의 모델 프리 강화 학습 접근법을 제시한다. 목표를 한계 결정적 뷔치 라우팅으로 컴파일하고 문제를 거의 확실한 도달 가능성으로 환원함으로써, 이 방법은 결정적 라빈 라우팅에 의존하지 않고도 표준 시간 차분 알고리즘을 사용해 최적 전략을 학습할 수 있게 한다. 이는 일시적인 수용 전이로 인해 최적 정책을 식별하지 못할 수 있는 문제를 피한다.

ABSTRACT

We provide the first solution for model-free reinforcement learning of ω-regular objectives for Markov decision processes (MDPs). We present a constructive reduction from the almost-sure satisfaction of ω-regular objectives to an almost- sure reachability problem and extend this technique to learning how to control an unknown model so that the chance of satisfying the objective is maximized. A key feature of our technique is the compilation of ω-regular properties into limit- deterministic Buechi automata instead of the traditional Rabin automata; this choice sidesteps difficulties that have marred previous proposals. Our approach allows us to apply model-free, off-the-shelf reinforcement learning algorithms to compute optimal strategies from the observations of the MDP. We present an experimental evaluation of our technique on benchmark learning problems.

연구 동기 및 목표

• MDP에서 오메가-정규 목표를 위한 모델 프리 강화 학습 문제를 해결함. 이는 누적 보상이 아닌 장기적인 행동 요구사항으로 표현된 목표를 다루는 데 목적이 있다.
• 이전 방법들이 결정적 라빈 라우팅에 기반할 경우 일시적인 수용 전이로 인해 전략을 잘못 순위 매길 수 있다는 문제를 해결한다.
• 한계 결정적 뷔치 라우팅을 사용하여 오메가-정규 목표의 거의 확실 만족 문제를 거의 확실한 도달 가능성 문제로의 구조적 환원을 제공한다.
• 목표를 한계 결정적 뷔치 라우팅으로 컴파일하여 최적 정책 식별을 유지하는 보상 구조를 생성함으로써, 알려지지 않은 MDP에서 표준 모델 프리 강화 학습 알고리즘(예: Q-러닝)의 사용을 가능하게 한다.
• 제안된 방법 하에서 상태의 가치가 매개변수 ζ가 1에 수렴함에 따라 목표 만족의 최대 확률을 근사함을 보여주며, 이는 최적 전략으로의 수렴을 보장한다.

제안 방법

• 일시적인 수용 전이 문제를 피하기 위해 결정적 라빈 라우팅 대신 오메가-정규 목표를 한계 결정적 뷔치 라우팅으로 컴파일한다.
• 원본 MDP와 뷔치 라우팅 간의 제품 MDP를 구성하여 공동 상태-행동 행동을 모델링한다.
• 뷰치 라우팅의 수용 조건에 기반한 보상 함수를 정의하며, 제품 MDP에서 수용 상태에 도달할 때만 보상을 부여한다.
• 변환된 MDP에서 시간 차분 학습(예: Q-러닝)을 사용하여 오메가-정규 목표를 만족할 확률을 최대화하는 전략을 학습한다.
• 일시적인 수용 전이에 대한 민감도를 조절하기 위해 매개변수 ζ를 도입하여 점진적인 수렴을 가능하게 한다.
• 확률 만족도를 검증하고 강화 학습 결과를 검증하기 위해 Mungojerrie 모델 체커를 적용한다.

실험 결과

연구 질문

• RQ1 오메가-정규 목표를 위한 모델 프리 강화 학습이 MDP에서 효과적으로 적용될 수 있는가? 이는 누적 보상이 아닌 장기적인 행동 만족을 목표로 하는가?
• RQ2 왜 이전 방법들이 결정적 라빈 라우팅에 기반할 경우 어떤 MDP에서는 최적 전략을 식별하지 못하는가?
• RQ3 한계 결정적 뷔치 라우팅을 사용하여 표준 강화 학습 알고리즘이 오메가-정규 목표를 위한 최적 전략을 학습할 수 있는 보상 함수를 구성할 수 있는가?
• RQ4 제안된 방법이 매개변수 ζ가 1에 수렴함에 따라 상태의 가치가 목표 만족의 최대 확률을 근사함을 보장하는가?
• RQ5 특히 확률적 요소가 존재할 경우, 수치 계산에서 일시적 전이와 반복적 수용 전이를 신뢰성 있게 구분할 수 있는가?

주요 결과

• 제안된 방법은 테스트된 모든 MDP에서 오메가-정규 목표를 위한 최적 전략을 성공적으로 학습하였으며, 이전의 라빈 기반 방법이 실패한 경우에도 마찬가지로 성공하였다.
• 지연 모델에서 RL 알고리즘이 전략 b를 최적(확률 1)으로 올바르게 식별하는 데는 ζ가 충분히 높을 때(예: 0.9999)에만 가능함을 보여주며, 이는 ζ 조정이 전략 순위 매기기 오류를 방지하는 데 중요함을 시사한다.
• twoPairs, riskReward, grid5x5 등의 모델에서는 RL 알고리즘이 목표 만족 확률 1.0을 달성하였으며, 모델 체커 결과와 일치하였다.
• 방금 작은 모델(frozenSmall)의 최대 만족 확률이 0.823임을 정확히 식별함으로써 보상 변환의 정확성을 확인하였다.
• ζ가 증가함에 따라 pφ(만족 확률)의 값이 단조적으로 증가함을 보여주며, 이는 중간 전략의 품질 향상과 일치하며, 이는 정리 3와 일치한다.
• 지연 모델에서 라빈 기반 방법은 pφ = 0.5로 잘못 할당할 수 있음에도 불구하고, 이 방법은 만족 확률을 과소 평가하는 문제를 피함을 입증하였다.