[논문 리뷰] Joint Inference of Reward Machines and Policies for Reinforcement Learning

Zhe Xu, Ivan Gavran외 5명|arXiv (Cornell University)|2019. 09. 12.

Receptor Mechanisms and Signaling인용 수 12

한 줄 요약

이 논문은 높은 수준의 보상 구조가 초기에 알려져 있지 않을 때 강화학습에서 보상 기계와 정책을 함께 학습하는 반복적 알고리즘인 공동 보상 기계 및 정책 추론(Joint Inference of Reward Machines and Policies, JIRP)을 제안한다. 보상 기계 상태 간의 Q함수 전이와 함께, RL 에피소드에서 발생하는 반례를 사용하여 가설을 반복적으로 개선함으로써 JIRP는 거의 확실히 최적의 정책으로 수렴하며, 자율 주행, 사무실 내 탐색, 마인크래프트 작업과 같은 희박한 보상 환경에서 표준 Q학습 및 계층적 강화학습보다 뛰어난 성능을 보인다.

ABSTRACT

Incorporating high-level knowledge is an effective way to expedite reinforcement learning (RL), especially for complex tasks with sparse rewards. We investigate an RL problem where the high-level knowledge is in the form of reward machines, i.e., a type of Mealy machine that encodes the reward functions. We focus on a setting in which this knowledge is a priori not available to the learning agent. We develop an iterative algorithm that performs joint inference of reward machines and policies for RL (more specifically, q-learning). In each iteration, the algorithm maintains a hypothesis reward machine and a sample of RL episodes. It derives q-functions from the current hypothesis reward machine, and performs RL to update the q-functions. While performing RL, the algorithm updates the sample by adding RL episodes along which the obtained rewards are inconsistent with the rewards based on the current hypothesis reward machine. In the next iteration, the algorithm infers a new hypothesis reward machine from the updated sample. Based on an equivalence relationship we defined between states of reward machines, we transfer the q-functions between the hypothesis reward machines in consecutive iterations. We prove that the proposed algorithm converges almost surely to an optimal policy in the limit if a minimal reward machine can be inferred and the maximal length of each RL episode is sufficiently long. The experiments show that learning high-level knowledge in the form of reward machines can lead to fast convergence to optimal policies in RL, while standard RL methods such as q-learning and hierarchical RL methods fail to converge to optimal policies after a substantial number of training steps in many tasks.

연구 동기 및 목표

• 에이전트가 초기에 고수준 작업 구조를 제공받지 못하는 희박한 보상 강화학습 문제를 해결하기 위해.
• 샘플 효율성과 수렴 속도를 향상시키기 위해 반복적으로 보상 기계와 정책을 함께 추론하는 방법을 개발하기 위해.
• 경험과 반례를 통해 암묵적인 작업 계층 구조와 하위 작업 간의 구조적 관계를 발견할 수 있도록 하기 위해.
• 최소한의 보상 기계 추론과 충분한 에피소드 길이 조건 하에서 최적의 정책으로 거의 확실히 수렴하는 것을 증명하기 위해.
• 자율 주행 및 마인크래프트 작업과 같은 복잡한 희박한 보상 환경에서 표준 Q학습 및 계층적 강화학습을 초월하기 위해.

제안 방법

• 반복적으로 보상 기계 가설과 RL 에피소드 샘플을 유지하며, 관측된 보상 값이 현재 가설과 다를 경우 반례를 사용해 둘 다를 개선한다.
• 현재 보상 기계 가설에서 Q함수를 유도하고, 이러한 Q함수를 사용해 표준 Q학습 업데이트를 수행한다.
• 실제 보상 값이 현재 보상 기계에 의해 예측된 값과 다를 경우의 반례 에피소드를 수집하고 샘플에 추가하여 가설 추론을 향상시킨다.
• 유한 상태 오토마타 학습 기법을 사용해 업데이트된 에피소드 샘플에서 더 정확한 보상 기계 가설을 추론한다.
• 연속된 보상 기계 가설의 동치 상태 간에 Q함수를 전이하여 학습 속도를 가속화하고 샘플 효율성을 향상시킨다.
• 효율적인 보상 기계 추론을 위한 다항식 시간 학습 알고리즘과 추론 빈도를 제어하기 위한 주기적 배치 업데이트 전략을 사용한다.

실험 결과

연구 질문

• RQ1 고수준 작업 구조가 초기에 알려져 있지 않을 때, 강화학습 에이전트가 보상 기계와 최적의 정책을 함께 추론할 수 있는가?
• RQ2 RL 에피소드에서 유도된 반례를 어떻게 효과적으로 활용하여 보상 기계 가설을 시간이 지남에 따라 개선할 수 있는가?
• RQ3 공동 추론 프레임워크에서 최적의 정책으로 거의 확실히 수렴하기 위한 조건은 무엇인가?
• RQ4 연속된 보상 기계의 동치 상태 간 Q함수 전이가 학습 효율성을 어떻게 향상시키는가?
• RQ5 제안된 방법이 희박한 보상 환경에서 표준 Q학습 및 계층적 강화학습보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 자율 주행 시나리오에서 JIRP는 100,000개의 학습 스텝 내에 최적의 정책으로 수렴했으며, 베이스라인 방법들은 두 백만 개 스텝가량 경과한 후에도 근처의 영구적인 보상 수준에 갇혀 있었다.
• 사무실 환경과 마인크래프트 시나리오 모두에서 JIRP는 최적의 평균 누적 보상을 달성했고, 베이스라인 방법들은 동일한 학습 기간 동안 약 60% 수준의 성능에 머물렀다.
• 최종 반복 단계에서 추론된 보상 기계는 '작업대를 사용하기 전에 나무를 확보해야 한다' 또는 '자원을 확보한 후 공장을 사용해야 한다'와 같은 필수적인 작업 순서와 의존 관계를 정확히 반영했다.
• 반례 수집 기법의 사용은 가설 품질을 크게 향상시켰으며, 후속 반복 단계에서 보상 기계는 작업 구조와 보상 논리를 정확히 모델링했다.
• 연속된 보상 기계의 동치 상태 간 Q함수 전이가 더 빠른 수렴과 더 낮은 샘플 복잡도에 기여했다.
• 알고리즘은 내비게이션, 자원 확보, 제작 작업 등 다양한 환경에서 뛰어난 안정성과 일관된 성능 향상을 보이며, 베이스라인에 비해 뚜렷한 성능 향상을 보였다.