[논문 리뷰] Hierarchical Linearly-Solvable Markov Decision Problems

Anders Jönsson, Vicenç Gómez|arXiv (Cornell University)|2016. 03. 10.

Reinforcement Learning in Robotics참고 문헌 18인용 수 4

한 줄 요약

이 논문은 각 작업을 선형으로 가역 가능한 MDP(LMDP)로 공식화하는 계층적 강화학습 프레임워크를 제안한다. 이는 벨만 방정식의 해석적 해를 통해 효율적인 학습을 가능하게 한다. 제안된 계층적 Z-학습 알고리즘은 작업의 조합성과 확장 가능한 가치 함수 학습을 활용하여 택시 및 자율 주행 유도 차량 도메인에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

We present a hierarchical reinforcement learning framework that formulates each task in the hierarchy as a special type of Markov decision process for which the Bellman equation is linear and has analytical solution. Problems of this type, called linearly-solvable MDPs (LMDPs) have interesting properties that can be exploited in a hierarchical setting, such as efficient learning of the optimal value function or task compositionality. The proposed hierarchical approach can also be seen as a novel alternative to solving LMDPs with large state spaces. We derive a hierarchical version of the so-called Z-learning algorithm that learns different tasks simultaneously and show empirically that it significantly outperforms the state-of-the-art learning methods in two classical hierarchical reinforcement learning domains: the taxi domain and an autonomous guided vehicle task.

연구 동기 및 목표

• 대규모 강화학습에서 차원의 극복 문제를 계층적 강화학습과 선형으로 가역 가능한 MDP(LMDP)를 조합하여 해결하고자 한다.
• LMDP의 성질을 활용하여 계층적 작업에서 최적의 가치 함수를 해석적으로 효율적으로 학습하고자 한다.
• 다양한 작업을 동시에 학습하고 효율적으로 조합할 수 있는 새로운 계층적 Z-학습 알고리즘을 개발하고자 한다.
• 실제 벤치마크인 택시 도메인과 자율 주행 유도 차량 작업에서의 확장성과 성능 향상을 입증하고자 한다.

제안 방법

• 계층 내 각 작업을 선형으로 가역 가능한 MDP(LMDP)로 공식화하여, 벨만 방정식이 선형이 되고 해석적 해를 가질 수 있도록 한다.
• 반복적 비선형 최적화를 피하기 위해 최적의 가치 함수를 효율적으로 계산하기 위해 거듭제곱 반복 방법을 사용한다.
• 최적 정책에서 유도된 기호적 동작을 적용하며, 전이 확률은 최적 행동 분포의 원형 이동을 통해 확보한다.
• 상태 공간에서 직접적으로 오프-폴리시 가치 함수 학습을 위해 Z-학습을 활용하여 상태-행동 곱공간이 필요 없도록 한다.
• 작업 조합성 도입: 하위 작업의 최적 정책을 선형 조합하여 재학습 없이 복합 작업을 구성할 수 있다.
• 수렴성과 성능 향상을 위해 동적 학습률과 최적화된 초매개변수(예: λ, ε)를 사용한다.

실험 결과

연구 질문

• RQ1 LMDP의 선형적 구조를 활용함으로써 계층적 강화학습이 표본 효율성과 확장성 측면에서 향상될 수 있는가?
• RQ2 계층적 Z-학습 알고리즘이 최신 기술의 계층적 강화학습 방법과 비교해 수렴 속도와 최종 성능 측면에서 어떻게 성능을 내는가?
• RQ3 계층적 LMDP에서 작업 조합성이 얼마나 효과적으로 활용될 수 있으며, 복합 작업에 대해 재학습 없이 비용 없이 학습을 수행할 수 있는가?
• RQ4 큰 상태 공간에 LMDP 기반 방법을 적용할 때 발생하는 수치적 및 계산적 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 계층적 Z-학습 알고리즘은 15×15 택시 도메인과 단순화된 2기계 AGV 도메인에서 최신 기술의 계층적 강화학습 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 작업 조합성 덕분에 하위 작업의 사전 학습된 최적 해를 활용해 재학습 없이도 복합 정책을 효율적으로 구성할 수 있었다.
• 매우 큰 상태 공간(예: 50×50 격자)에서는 수치 정밀도가 유일한 한계로 나타나지만, 큰 상태 공간에서도 정확한 가치 함수 추정이 가능했다.
• Z-학습의 사용 덕분에 상태 공간에서 직접 학습이 가능해졌고, 상태-행동 곱공간의 계산 부담을 피할 수 있었다.
• 15×15 택시 도메인에서는 ℓ₁-노름을 통한 가치 함수 차이 측정에서 기준 방법보다 더 빠르게 수렴하고 오차가 적었다.
• 약 75,000개의 상태를 가진 AGV 도메인에서도 최적의 정책을 성공적으로 학습했지만, 규모가 커지면서 수치 정밀도 문제 발생