[논문 리뷰] Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition

Thomas G. Dietterich|ArXiv.org|1999. 05. 21.

Reinforcement Learning in Robotics참고 문헌 27인용 수 21

한 줄 요약

이 논문은 마르코프 결정 과정의 가치 함수를 하위 작업의 계층적 구조에서 덧셈 성분으로 분해하는 계층적 강화 학습 프레임워크인 MAXQ를 소개한다. 상태 추상화와 하위 작업 재사용을 통해 효율적인 학습을 가능하게 하며, 재귀적으로 최적의 정책으로 수렴함을 증명하였고, 실험을 통해 평탄한 Q-학습보다 더 빠른 수렴 속도와 향상된 성능을 보였다.

ABSTRACT

This paper presents the MAXQ approach to hierarchical reinforcement learning based on decomposing the target Markov decision process (MDP) into a hierarchy of smaller MDPs and decomposing the value function of the target MDP into an additive combination of the value functions of the smaller MDPs. The paper defines the MAXQ hierarchy, proves formal results on its representational power, and establishes five conditions for the safe use of state abstractions. The paper presents an online model-free learning algorithm, MAXQ-Q, and proves that it converges wih probability 1 to a kind of locally-optimal policy known as a recursively optimal policy, even in the presence of the five kinds of state abstraction. The paper evaluates the MAXQ representation and MAXQ-Q through a series of experiments in three domains and shows experimentally that MAXQ-Q (with state abstractions) converges to a recursively optimal policy much faster than flat Q learning. The fact that MAXQ learns a representation of the value function has an important benefit: it makes it possible to compute and execute an improved, non-hierarchical policy via a procedure similar to the policy improvement step of policy iteration. The paper demonstrates the effectiveness of this non-hierarchical execution experimentally. Finally, the paper concludes with a comparison to related work and a discussion of the design tradeoffs in hierarchical reinforcement learning.

연구 동기 및 목표

• 큰 상태 공간에서 평탄한 강화 학습의 확장성 한계를 해결하기 위해 계층적 가치 함수 분해를 도입하는 것.
• 하위 작업 재사용, 상태 추상화, 절차적 및 묘술적 의미를 통해 효율적인 학습을 지원하는 계층적 강화 학습 방법을 체계화하는 것.
• 상태 추상화가 적용되어도 여전히 재귀적으로 최적의 정책으로 수렴하는 학습 알고리즘(MAXQ-Q)을 개발하는 것.
• 계층적 가치 함수 표현에서 더 나은 비계층적 정책을 유도할 수 있도록 하는 것.
• 상태 추상화를 안전하게 적용할 수 있는 조건을 공식적으로 설정하는 것

제안 방법

• MAXQ는 목표 MDP의 가치 함수를 계층적 그래프 구조에서 하위 작업의 가치 함수들의 덧셈 조합으로 분해한다.
• 계층은 방향성 비순환 그래프(DAG)로 정의되며, 내부 노드는 하위 목표를, 리프 노드는 원시 동작을 나타낸다.
• MAXQ-Q는 온라인, 모델 프리 학습 알고리즘이며, Q-학습 원칙을 사용해 각 노드의 가치 함수를 갱신하고, 하향식으로 갱신을 전파한다.
• 다섯 가지 공식 조건을 통해 상태 추상화를 지원한다: 최대 노드 무관성, 리프 무관성, 결과 분포 무관성, 실드, 종료 조건.
• 계층적 가치 함수에 정책 개선 절차를 적용하여 비계층적이고 향상된 정책을 추출한다.
• 각 하위 작업에 대해 독립적인 가치 함수를 유지함으로써 하위 작업 공유 및 재사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 주어진 계층과 일치하는 임의의 정책의 가치 함수를 계층적 가치 함수 분해가 표현할 수 있는가?
• RQ2 계층적 강화 학습에서 수렴성에 영향을 주지 않도록 상태 추상화를 안전하게 적용할 수 있는 조건은 무엇인가?
• RQ3 상태 추상화가 존재하는 상황에서 MAXQ-Q 학습 알고리즘이 국소적으로 최적의 정책으로 수렴하는가?
• RQ4 계층적 가치 함수 표현을 사용해 원래의 계층적 정책보다 더 나은 비계층적 정책을 도출할 수 있는가?
• RQ5 MAXQ-Q의 성능은 수렴 속도와 최종 정책 품질 측면에서 평탄한 Q-학습보다 어떻게 비교되는가?

주요 결과

• MAXQ-Q는 확률 1로 재귀적으로 최적의 정책으로 수렴하며, 상태 공간의 큰 부분을 忽略하는 상태 추상화를 사용하더라도 여전히 수렴한다.
• MAXQ 가치 함수 분해는 유한 수명 불할인 및 무한 수명 할인 수익 기준 모두에서 어떤 계층적 정책의 가치 함수도 표현할 수 있다.
• 택시 및 Kaelbling HDG 작업에서의 실험 결과, 상태 추상화를 적용한 MAXQ-Q는 평탄한 Q-학습보다 유의미하게 더 빠르게 수렴한다.
• 기민한 택시 작업에서, MAXQ 가치 함수 기반의 비계층적 실행은 최적의 성능을 달성하여 계층적 표현에서의 정책 개선 효과를 입증한다.
• HDG 작업 실험 결과, MAXQ에서 도출된 향상된 비계층적 정책을 사용할 경우 원래의 계층적 정책보다 성능이 크게 향상된다.
• 논문은 계층적 강화 학습에서 상태 추상화를 안전하게 적용할 수 있도록 하는 다섯 가지 공식 조건(최대 노드 무관성, 리프 무관성, 결과 분포 무관성, 실드, 종료 조건)을 설정하였다.