[논문 리뷰] Hierarchical Reinforcement Learning using Spatio-Temporal Abstractions and Deep Neural Networks.

Ramnandan Krishnamurthy, Aravind S. Lakshminarayanan외 2명|arXiv (Cornell University)|2016. 05. 17.

Reinforcement Learning in Robotics참고 문헌 27인용 수 19

한 줄 요약

이 논문은 상태 공간 동역학에 대해 스펙트럴 클러스터링(PCCA+)을 사용하여 추상 상태와 스킬을 자동으로 발견하는 계층적 강화학습 프레임워크를 제안한다. 이는 사전에 정의된 MDP 모델이 없이도 다양한 작업 간에 효율적이고 재사용 가능한 정책 학습을 가능하게 한다. 시공간 추상화와 딥 네ural 네트워크를 활용한 표현 학습을 통해 학습 속도를 향상시키고, 특히 비디오 게임과 같은 복잡한 환경에서 일반화 능력을 향상시킨다.

ABSTRACT

This paper introduces an automated skill acquisition framework in reinforcement learning which involves identifying a hierarchical description of the given task in terms of abstract states and extended actions between abstract states. Identifying such structures present in the task provides ways to simplify and speed up reinforcement learning learning algorithms. These structures also help to generalize such algorithms over multiple tasks without relearning policies from scratch. We use ideas from dynamical systems to find metastable regions in the state space and associate them with abstract states. The spectral clustering algorithm PCCA+ is used to identify suitable abstractions aligned to the underlying structure. Skills are defined in terms of the transitions between such abstract states. The connectivity information from PCCA+ is used to generate these skills or options. The skills are independent of the learning task and can be efficiently reused across a variety of tasks defined over a common state space. Another major advantage of the approach is that it does not need a prior model of the MDP and can work well even when the MDPs are constructed from sampled trajectories. Finally, we present our attempts to extend the automated skills acquisition framework to complex tasks such as learning to play video games where we use deep learning techniques for representation learning to aid our spatio-temporal abstraction framework.

연구 동기 및 목표

• 강화학습 작업에서 계층적 구조—추상 상태와 연장된 동작—의 자동 발견을 위한 것이다.
• 동일한 상태 공간을 공유하는 다양한 작업 간에 작업에 독립적인 스킬을 재사용함으로써 효율적이고 일반화 가능한 정책 학습을 가능하게 하는 것이다.
• 동역학 시스템 이론을 활용하여 사전에 MDP 모델이 필요 없이 상태 공간 내의 안정성 있는 영역을 식별하는 것이다.
• 고차원 환경에 적합한 추상화 프레임워크를 확장하기 위해 딥 네ural 네트워크를 통한 표현 학습을 통합하는 것이다.
• 샘플된 궤적을 사용하여 복잡한 작업, 예를 들어 비디오 게임 제어와 같은 작업에서의 프레임워크의 효과성을 입증하는 것이다.

제안 방법

• 상태 공간 내의 안정성 있는 영역을 식별하기 위해 동역학 시스템 이론을 사용하며, 이를 추상 상태로 간주한다.
• PCCA+ 스펙트럴 클러스터링 알고리즘을 적용하여 상태 공간을 기저 동역학에 맞는 추상 상태로 분할한다.
• PCCA+로부터 추출한 연결성 정보를 바탕으로 추상 상태 간 전이로 연장된 동작(스킬)을 정의한다.
• 동일한 상태 공간을 공유하는 다양한 작업 간에 재사용 가능한 작업에 독립적인 스킬을 구성한다.
• 고차원 상태의 저차원 표현을 학습하기 위해 딥 네ural 네트워크를 통합하여 복잡한 환경에서의 추상화를 지원한다.
• 사전에 정의된 MDP 모델이 필요 없이 샘플된 궤적에 직접 작용한다.

실험 결과

연구 질문

• RQ1 강화학습에서 의미 있는 추상 상태를 형성하기 위해 상태 공간 내의 안정성 있는 영역를 자동으로 식별할 수 있는가?
• RQ2 PCCA+는 어떻게 작업에 독립적인 스킬을 생성하여 다양한 작업 간에 재사용할 수 있는가?
• RQ3 시공간 추상화는 계층적 강화학습에서 샘플 효율성과 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 딥 표현 학습은 고차원 환경에서 추상화 기반 강화학습의 확장성을 어느 정도 향상시킬 수 있는가?
• RQ5 이 프레임워크는 비디오 게임 플레이와 같은 복잡한 실제 작업에서 얼마나 효과적인가?

주요 결과

• 프레임워크는 동역학 시스템 분석을 통해 상태 공간 내의 안정성 있는 영역를 성공적으로 식별하여 추상 상태의 기초를 마련한다.
• PCCA+는 환경의 기저 동역학에 맞는 추상 상태와 스킬 정의의 발견을 가능하게 한다.
• 생성된 스킬은 학습 작업에 독립적이며 동일한 상태 공간을 공유하는 여러 작업 간에 재사용할 수 있다.
• 사전에 MDP 모델이 필요 없이 환경의 샘플된 궤적을 효과적으로 활용한다.
• 딥 네ural 네트워크 통합을 통해 비디오 게임 제어와 같은 복잡한 작업으로의 확장이 가능하다.
• 상태 공간의 구조에서 유도된 계층적 추상화를 활용하여 다양한 작업 간의 학습 효율성과 일반화 능력을 향상시킨다.