[논문 리뷰] Learning Non-Markovian Reward Models in MDPs

Gavin Rens, Jean-François Raskin|arXiv (Cornell University)|2020. 01. 25.

Machine Learning and Algorithms참고 문헌 15인용 수 8

한 줄 요약

이 논문은 비마르코프 보상(non-Markovian rewards)을 모델링하는 유한 오토마타인 메일리 보상 기계(Mealy Reward Machines, MRM)를 추론하기 위해 앵글린의 L* 알고리즘을 사용하는 주동 학습 프레임워크를 제안한다. 이 방법은 오토마타 추론과 MDP 최적화를 융합하여 역사에 의존하는 보상을 학습하고 활용하며, 일정한 가정 하에 초당 수십 초 내로 장난감 MRM 예제를 완벽하게 학습한다. 이는 형식적 보장을 제공한다.

ABSTRACT

There are situations in which an agent should receive rewards only after having accomplished a series of previous tasks. In other words, the reward that the agent receives is non-Markovian. One natural and quite general way to represent history-dependent rewards is via a Mealy machine; a finite state automaton that produces output sequences (rewards in our case) from input sequences (state/action observations in our case). In our formal setting, we consider a Markov decision process (MDP) that models the dynamic of the environment in which the agent evolves and a Mealy machine synchronised with this MDP to formalise the non-Markovian reward function. While the MDP is known by the agent, the reward function is unknown from the agent and must be learnt. Learning non-Markov reward functions is a challenge. Our approach to overcome this challenging problem is a careful combination of the Angluin's L* active learning algorithm to learn finite automata, testing techniques for establishing conformance of finite model hypothesis and optimisation techniques for computing optimal strategies in Markovian (immediate) reward MDPs. We also show how our framework can be combined with classical heuristics such as Monte Carlo Tree Search. We illustrate our algorithms and a preliminary implementation on two typical examples for AI.

연구 동기 및 목표

• 현재 상태가 아닌 상태/행동 역사에 따라 보상이 결정되는 비마르코프 보상 함수 학습의 과제를 해결한다.
• 기존 MDP가 즉각적인 마르코프 보상에 의존하여 복잡한 순서 의존 작업을 포괄하지 못하는 한계를 극복한다.
• 환경과의 상호작용을 통해 기저의 보상 기계 구조를 형식적이고 보장 가능한 방법으로 추론한다.
• 표준 MDP 해법 기법(예: 값 반복, 정책 반복)과 오토마타 학습을 융합하여 비마르코프 보상 하에서 최적 정책 합성을 가능하게 한다.
• 형식적 검증과 실증 평가를 통해 실용적인 AI 예제에서 접근의 타당성과 정확성을 입증한다.

제안 방법

• 비마르코프 보상을 메일리 보상 기계(MRMs)를 통해 표현한다. MRM은 유한 상태 오토마타를 통해 상태-행동 시퀀스를 보상으로 매핑한다.
• 상태-행동 관측에 대한 소속성(query)과 동치성(query)을 수행하는 앵글린의 L* 주동 학습 알고리즘을 적용하여 MRM의 구조를 추론한다.
• 가설적 MRM가 진짜 보상 함수와 일치하는지 확인하기 위해 형식적 테스트 기법을 사용한다.
• 학습된 MRM을 MDP에 통합하여 표준 마르코프 MDP 해법기법(예: 값 반복, 정책 반복)을 사용해 최적 정책을 계산한다.
• 확장 가능한 배포를 위해 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)과 같은 고전적 계획 기법과 프레임워크를 통합한다.
• 실용적인 파ip라인을 구현하여 에이전트가 무작위 탐색을 수행해 데이터를 수집하고, L* 알고리즘을 사용해 MRM의 구조를 추론하며 정책을 최적화한다.

실험 결과

연구 질문

• RQ1 형식적 오토마타 추론을 통해 MDP에서 비마르코프 보상 함수를 주동적이고 정확하게 학습할 수 있는가?
• RQ2 학습된 MRM는 MDP 계획에 효과적으로 통합되어 최적 정책을 유도할 수 있는가?
• RQ3 역사에 의존하는 보상이 있는 실용적 환경에서 MRM 학습의 샘플 및 시간 효율성은 어떠한가?
• RQ4 MCTS와 같은 기존 계획 알고리즘과 프레임워크를 융합하여 더 큰 문제에 스케일링할 수 있는가?
• RQ5 L* 알고리즘이 기저의 MRM 구조를 정확하게 추론할 수 있는 조건은 무엇인가?

주요 결과

• 제안된 프레임워크는 쿠키 도메인 예제에서 시도당 약 1초 내에 완벽한 MRM를 학습하였으며, 10회의 시도 모두에서 100% 정확도를 달성했다.
• 쿠키 도메인에서 에이전트는 APF(주동 정책 프레임워크) 설정 하에서 평균 수익 $1459 \pm 376$를 기록했으며, 평균 학습 시간은 $174 \pm 59$ 초였다.
• 모든 실험 주기에서 메서드가 MRM의 구조를 정확히 추론하여 비마르코프 보상에 대한 주동 학습의 타당성을 입증했다.
• 프레임워크는 MCTS 및 기타 고전적 히우리스틱 기법과 통합 가능하여 복잡한 환경에서 확장 가능한 정책 학습을 지원한다.
• L*의 이론적 기반을 활용해 미약한 가정 하에 MRM 추론의 정확성과 완전성에 대한 형식적 보장을 제공한다.
• 결과는 MRM이 표준 즉각 보상으로 표현할 수 없는 복잡한 순서 의존 보상—예를 들어 전기차 배터리 제조에서 위험한 조립 순서를 피하는 것—을 모델링할 수 있음을 보여준다.