[논문 리뷰] State Abstraction in MAXQ Hierarchical Reinforcement Learning

Thomas G. Dietterich|ArXiv.org|1999. 05. 21.

Reinforcement Learning in Robotics참고 문헌 12인용 수 55

한 줄 요약

이 논문은 MAXQ 계층 강화 학습 프레임워크에서 안전한 상태 추상화를 위한 다섯 가지 형식적 조건을 제안하며, 이러한 추상화가 적용될 경우 MAXQ-Q 학습이 최적 정책으로 수렴함을 증명한다. 또한 상태 추상화가 가치 함수에 필요한 항목 수를 크게 줄임을 보여주며, 택시 환경에서 14,000개에서 632개로 감소시켜 계층 학습의 효율성과 확장성을 크게 향상시킨다.

ABSTRACT

Many researchers have explored methods for hierarchical reinforcement learning (RL) with temporal abstractions, in which abstract actions are defined that can perform many primitive actions before terminating. However, little is known about learning with state abstractions, in which aspects of the state space are ignored. In previous work, we developed the MAXQ method for hierarchical RL. In this paper, we define five conditions under which state abstraction can be combined with the MAXQ value function decomposition. We prove that the MAXQ-Q learning algorithm converges under these conditions and show experimentally that state abstraction is important for the successful application of MAXQ-Q learning.

연구 동기 및 목표

• 계층 강화 학습에서 상태 추상화를 적용할 경우 형식적 수렴 보장을 제공하지 못하는 문제를 해결한다.
• 학습 정확성에 영향을 주지 않으면서 상태 추상화를 안전하게 적용할 수 있는 조건을 규명한다.
• 복잡한 환경에서 효율적이고 확장 가능한 MAXQ-Q 학습을 위해 상태 추상화가 필수적임을 입증한다.
• 기존 연구에서 이러한 보장을 누락한 바를 바탕으로, 상태 추상화 하에서 MAXQ-Q의 수렴성에 대한 형식적 증명을 제공한다.

제안 방법

• 안전한 상태 추상화를 위한 다섯 가지 조건을 정의: 잎마디 무관성, 하위작업 무관성, 결과 무관성, 종료 조건, 차폐 조건.
• 이 추상화 조건들을 MAXQ 가치 함수 분해에 통합하여, Q-값이 하위작업 값과 완료 함수의 합으로 표현되도록 한다.
• 이 조건들 하에서, 완료 함수 C(i,s,j)가 전체 상태가 아닌 추상화된 상태 변수에만 의존함을 증명한다.
• 추상화 조건을 준수하는 GLIE(Greedy-Optimistic in the Limit of Exploration) 탐색 정책을 사용하여 수렴을 보장한다.
• 택시 및 HDG 탐색 작업에 이 추상화 조건을 적용하여 가치 함수에 필요한 항목 수를 감소시킨다.
• 일부 상태 변수가 하위작업의 결과나 완료 비용에 영향을 주지 않음을 활용하여, 압축된 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 계층 강화 학습에서 수렴성을 해치지 않으면서 상태 추상화를 안전하게 적용할 수 있는 조건은 무엇인가?
• RQ2 최적성을 유지하면서 상태 추상화를 지원할 수 있도록 MAXQ 가치 함수 분해를 어떻게 수정할 수 있는가?
• RQ3 상태 추상화는 MAXQ-Q 학습의 샘플 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 상태 추상화는 계층 RL에서 가치 함수 표현의 크기를 크게 줄일 수 있는가?
• RQ5 상태 추상화를 사용할 경우 MAXQ-Q에 대한 수렴성에 대한 형식적 증명이 존재하는가?

주요 결과

• 잎마디 무관성, 하위작업 무관성, 결과 무관성, 종료 조건, 차폐 조건으로 구성된 다섯 가지 추상화 조건은 완료 함수 C(i,s,j)가 오직 추상화된 상태 변수에만 의존함을 보장한다.
• 이러한 추상화 조건 하에서 MAXQ-Q 학습은 유일한 재귀적으로 최적의 정책으로 수렴하며, 추상화된 상태 전이에 대한 분포적 추론을 통해 증명된다.
• 택시 환경에서 상태 추상화를 적용함으로써 가치 함수에 필요한 항목 수가 추상화 없이 14,000개에서 추상화 시 632개로 감소하여 95.5% 감소하였다.
• 상태 추상화가 적용된 경우 MAXQ-Q 학습은 평탄한 Q-학습보다 훨씬 빠르게 수렴했지만, 추상화 없이 적용된 경우는 평탄한 Q-학습보다 느렸다.
• 종료 조건(하위작업이 부모 작업을 종료시킴)에서는 C(i,s,j) = 0이 되어 완료 비용을 표현할 필요가 없어진다.
• 차폐 조건은 하위작업을 실행할 수 없는 상태에서는 C(i,s,j)를 생략할 수 있게 해, 표현 크기를 추가로 줄인다.